nM5即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

  ?nM5即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

去年春節(jié)，美國(guó)OpenAI開(kāi)發(fā)的視頻生成AI工具Sora橫空出世，成為世界關(guān)注的焦點(diǎn)。今年春節(jié)前夕，一家低調(diào)的中國(guó)AI企業(yè)DeepSeek推出的開(kāi)源大模型在全球引發(fā)了不啻Sora的震撼——它在模型算法和工程優(yōu)化方面所進(jìn)行的系統(tǒng)級(jí)創(chuàng)新，為在受限資源下探索通用人工智能開(kāi)辟了新的道路，并為打破以“大模型、大數(shù)據(jù)和大算力”為核心的生成式AI“擴(kuò)展定律”天花板帶來(lái)了無(wú)限遐想。

過(guò)去幾周，DeepSeek超越ChatGPT，登頂蘋(píng)果美國(guó)地區(qū)應(yīng)用商店免費(fèi)App下載排行榜。1月28日，美國(guó)“外交學(xué)者”網(wǎng)站（The Diplomat）發(fā)表題為《中國(guó)的DeepSeek是美國(guó)人工智能的“斯普特尼克時(shí)刻”》的文章指出，DeepSeek此次的開(kāi)源之舉延續(xù)了OpenAI的初心使命——為了人類利益推動(dòng)人工智能發(fā)展。

DeepSeek的出圈，再次印證了一個(gè)科技創(chuàng)新硬道理：贏得比賽的關(guān)鍵是精益求精、富有創(chuàng)造力的創(chuàng)新，而非單純的金融實(shí)力和一味的出口管制。

“大力出奇跡”并非AI唯一出路

2019年，人工智能領(lǐng)域強(qiáng)化學(xué)習(xí)鼻祖、DeepMind研究科學(xué)家、加拿大阿爾伯塔大學(xué)計(jì)算機(jī)學(xué)教授理查德·薩頓發(fā)表了一篇題為《苦澀的教訓(xùn)》的文章，認(rèn)為“縱觀過(guò)去70年的AI發(fā)展歷史，想辦法利用更大規(guī)模的算力總是最高效的手段”。

在“數(shù)據(jù)是燃料、模型是引擎、算力是加速器”這一深度學(xué)習(xí)理念支持下，以Transformer為基本模型的生成式AI（如ChatGPT等）不再?gòu)幕ヂ?lián)網(wǎng)中搜索和羅列已有的匹配信息，而是從海量數(shù)據(jù)中洞悉單詞與單詞之間的共現(xiàn)概率，以組合意義下“昨日重現(xiàn)”方式合成眾所周知的語(yǔ)言內(nèi)容。

Transformer是2017年谷歌公司提出的一種新型深度神經(jīng)網(wǎng)絡(luò)，其核心在于通過(guò)自注意力機(jī)制讓每個(gè)單詞記住在不同語(yǔ)境下的“左鄰右舍”，然后以似曾相識(shí)之感來(lái)概率合成新的內(nèi)容。“Transformer”這一名字或許受到了電影《變形金剛》的英文名“Transformers”的啟發(fā)，因此可以將合成內(nèi)容的生成式AI看成一個(gè)“魔鏡”，它能夠根據(jù)輸入內(nèi)容如變魔術(shù)般輸出與之對(duì)應(yīng)的內(nèi)容。

由于每個(gè)單詞要記住越來(lái)越多不同語(yǔ)境下的“左鄰右舍”，因此模型參數(shù)不斷增多而導(dǎo)致模型規(guī)模不斷增大，隨之出現(xiàn)了大模型的“擴(kuò)展定律”（Scaling Law），即隨著模型規(guī)模、訓(xùn)練數(shù)據(jù)和計(jì)算資源的增加，模型性能會(huì)得到顯著提升，并且這些關(guān)系遵循可預(yù)測(cè)的模式。

面對(duì)越來(lái)越大的模型，訓(xùn)練模型所需的AI算力不斷飆升，“大力出奇跡”這一算力霸權(quán)開(kāi)始左右人工智能的發(fā)展。英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛據(jù)此提出過(guò)“黃氏定律”：在計(jì)算架構(gòu)改進(jìn)的推動(dòng)下，人工智能芯片的性能每年可提升1倍，速度遠(yuǎn)超集成電路領(lǐng)域的摩爾定律。

人工智能“擴(kuò)展定律”雖然也需要算法和系統(tǒng)創(chuàng)新，但是這一“無(wú)他、但手熟爾”的模式不應(yīng)是AI發(fā)展的唯一出路，因?yàn)椤盎睘楹?jiǎn)、大巧不工”才是推動(dòng)“機(jī)器學(xué)習(xí)”邁向“學(xué)習(xí)機(jī)器”的初衷。

“萬(wàn)物之始，大道至簡(jiǎn)，衍化至繁”，以簡(jiǎn)單直接思路解決復(fù)雜問(wèn)題才是科學(xué)研究之道。1953年，諾貝爾物理學(xué)獎(jiǎng)得主恩利克·費(fèi)米提 到，馮·諾依曼曾對(duì)他說(shuō) 過(guò)，用4個(gè)參數(shù)就能畫(huà)出一頭大象，用5個(gè)參數(shù)就可以讓象鼻子動(dòng)起來(lái)。英國(guó)數(shù)學(xué)家雅各布·布魯諾斯基也曾提到，馮·諾依曼認(rèn)為圍棋不是博弈，雖然因?yàn)橛?jì)算復(fù)雜而難以找到答案，但在理論上，下圍棋一定有個(gè)最佳落子方案。

這些故事告訴我們，用簡(jiǎn)單方法解決復(fù)雜問(wèn)題是科學(xué)研究基本思路之一。正如愛(ài)因斯坦所言，“所有科學(xué)中最重大的目標(biāo)就是從最少數(shù)量的假設(shè)和公理出發(fā)，用邏輯演繹推理的方法解釋最大量的經(jīng)驗(yàn)事實(shí)”。由此可見(jiàn)，DeepSeek的研發(fā)初心切合了大模型發(fā)展的內(nèi)在邏輯，為遏制其規(guī)模“瘋長(zhǎng)”勢(shì)頭提供了一劑良藥。

從“學(xué)而不思則罔”到“思而不學(xué)則殆”

能用眾力，則無(wú)敵于天下矣；能用眾智，則無(wú)畏于圣人矣。DeepSeek的精彩表現(xiàn)在于其對(duì)算法、模型和系統(tǒng)等進(jìn)行的系統(tǒng)級(jí)協(xié)同創(chuàng)新，是眾智和眾力相互疊加的成果。

應(yīng)該說(shuō)，DeepSeek模型仍是基于此前的Transformer架構(gòu)，沒(méi)有實(shí)現(xiàn)改變游戲規(guī)則的顛覆性基礎(chǔ)理論創(chuàng)新。但是，它在模型算法和工程優(yōu)化方面進(jìn)行了系統(tǒng)級(jí)創(chuàng)新，在2048塊英偉達(dá)H800 GPU（針對(duì)中國(guó)市場(chǎng)的低配版GPU）集群上完成訓(xùn)練，打破了大語(yǔ)言模型以大算力為核心的預(yù)期天花板，為在受限資源下探索通用人工智能開(kāi)辟了新的道路。其算法和工程創(chuàng)新主要包括混合專家模型、低秩注意力機(jī)制、強(qiáng)化學(xué)習(xí)推理、小模型蒸餾，以及諸如FP8混合精度和GPU部署優(yōu)化等工程創(chuàng)新。

其中，混合專家稀疏模型與傳統(tǒng)大語(yǔ)言模型“眾人拾柴、咸與維新”的路徑不同，它另辟蹊徑利用了“術(shù)業(yè)有專攻”的理念，每次讓若干個(gè)合適專家協(xié)作發(fā)揮各自能力，完成特定任務(wù)。

實(shí)際上，人腦也是一個(gè)稀疏模型。雖然人腦由800多億個(gè)神經(jīng)元和100萬(wàn)億個(gè)突觸連接而成，但它在完成識(shí)人辨物和舉手投足等任務(wù)時(shí)，每次只有一小部分神經(jīng)元被激活。實(shí)現(xiàn)“弱水三千，只取一瓢飲”，且讓被選擇的若干專家能夠以“十個(gè)指頭彈鋼琴”的形式，負(fù)載均衡地合作完成任務(wù)，而不是“三個(gè)和尚無(wú)水喝”——這正是DeepSeek所做出的難得的算法創(chuàng)新。

低秩注意力機(jī)制的引入使DeepSeek在保持模型性能的同時(shí)顯著降低了計(jì)算和存儲(chǔ)成本。人類在理解外界信息時(shí)，往往看到的是內(nèi)嵌在信息中的本質(zhì)結(jié)構(gòu)。例如，我們理解一篇文章，更關(guān)切若干單詞組合所刻畫(huà)的主題概念，而非單詞從頭到尾的羅列。傳統(tǒng)大模型中的注意力機(jī)制由于需要記錄每個(gè)單詞在不同上下文中的左鄰右舍，因此變得龐大無(wú)比。DeepSeek對(duì)這一巨大的注意力機(jī)制矩陣進(jìn)行了壓縮，從而極大提升了模型運(yùn)行效率。

在強(qiáng)化學(xué)習(xí)推理方面，傳統(tǒng)大模型訓(xùn)練時(shí)采用了“授之以魚(yú)，不如授之以漁”的方法，即人類給出大量思維鏈數(shù)據(jù)，通過(guò)監(jiān)督式微調(diào)來(lái)讓大語(yǔ)言模型仿照思維鏈完成相應(yīng)任務(wù)。但DeepSeek的做法則如同讓一個(gè)天才兒童在沒(méi)有任何范例的指導(dǎo)下，完全通過(guò)“嘗試與試錯(cuò)”來(lái)不斷探索未知空間，并利用已有經(jīng)驗(yàn)不斷取得進(jìn)步，最終完成從“摸著石頭過(guò)河”到“先知后行”的蝶變。

而且，DeepSeek進(jìn)一步提出了讓模型從若干答案中進(jìn)行比較的選擇方法，以實(shí)現(xiàn)自我提升。

這種直接訓(xùn)練方法不僅耗時(shí)更短、計(jì)算資源需求大幅減少，更讓模型學(xué)會(huì)了思考，而且是以見(jiàn)證“啊哈時(shí)刻（Aha Moment）”（指讓用戶眼前一亮?xí)r刻）的頓悟方式思考。

但值得注意的是，該方法難免導(dǎo)致推理過(guò)程難以被溯源和理解等局限。為此，DeepSeek收集了一部分思維鏈數(shù)據(jù)，引入冷啟動(dòng)和有監(jiān)督微調(diào)等方法，對(duì)模型進(jìn)行再次訓(xùn)練，從而讓模型在保持強(qiáng)大推理能力的同時(shí)，還學(xué)會(huì)了用人類易懂的方式表達(dá)思維過(guò)程。

廣受關(guān)注的“模型蒸餾”就是讓小模型模仿大模型回答問(wèn)題的結(jié)果，來(lái)提升自身能力。比如，在對(duì)一篇文章分類時(shí)，大模型認(rèn)為該文章以85%、10%和5%的概率分別屬于正面、負(fù)面和中性等不同情感類別。小模型就從大模型輸出的結(jié)果中認(rèn)真思考，不斷調(diào)整參數(shù)，以期望繼承大模型能力，從而輸出類似結(jié)果。

由于神經(jīng)網(wǎng)絡(luò)有強(qiáng)大的非線性映射能力，蒸餾學(xué)習(xí)不僅沒(méi)有導(dǎo)致“東施效顰”的笑話，反而使得大模型的能力之道以“他山之石、可以攻玉”的蒸餾之術(shù)遷移到了小模型。這不禁讓人感嘆，對(duì)于大模型而言，“學(xué)而不思則罔”；對(duì)于小模型而言，“思而不學(xué)則殆”。

智能時(shí)代，教育何為？

人工智能是一種類似于內(nèi)燃機(jī)或電力的“通用目的技術(shù)”，天然具備“至小有內(nèi)，至大無(wú)外”推動(dòng)學(xué)科交叉的潛力。無(wú)論是從人工智能角度解決科學(xué)問(wèn)題（AI for Science，如利用人工智能預(yù)測(cè)蛋白質(zhì)序列的三維空間結(jié)構(gòu)），還是從科學(xué)的角度優(yōu)化人工智能（Science for AI，如從統(tǒng)計(jì)物理規(guī)律角度優(yōu)化神經(jīng)網(wǎng)絡(luò)模型），未來(lái)的重大突破都將源自于這種交叉領(lǐng)域的工作。

如果說(shuō)過(guò)往的技術(shù)發(fā)明是從機(jī)械化增強(qiáng)角度提升人類與環(huán)境的互動(dòng)能力，那么人工智能的出現(xiàn)將對(duì)人類的這一根本能力和角色發(fā)起挑戰(zhàn)——生成式人工智能的出現(xiàn)使得智能機(jī)器成為知識(shí)生產(chǎn)的輔助者，這將深刻改變個(gè)體學(xué)習(xí)者的自主思考、判斷、學(xué)習(xí)能力，乃至倫理道德觀。

如何看待一項(xiàng)新技術(shù)的發(fā)展，這是進(jìn)行技術(shù)預(yù)測(cè)的一項(xiàng)必需認(rèn)知準(zhǔn)備。遺憾的是，人類總是習(xí)慣于線性思維（這符合人類自然的認(rèn)知模式：節(jié)省能量與快速計(jì)算），但這種認(rèn)知配置很容易出現(xiàn)認(rèn)知偏差，其中最常見(jiàn)的就是對(duì)于技術(shù)近期與遠(yuǎn)期影響的判斷出現(xiàn)不對(duì)稱性——短期內(nèi)傾向于高估技術(shù)的影響，長(zhǎng)期內(nèi)低估技術(shù)的影響，即美國(guó)科學(xué)家羅伊·阿瑪拉提出的“阿瑪拉法則”。

那么，隨著智能時(shí)代的來(lái)臨，如何通過(guò)教育體系的變革來(lái)應(yīng)對(duì)這一時(shí)代之變？在浙江大學(xué)2024年6月發(fā)布的《大學(xué)生人工智能素養(yǎng)紅皮書(shū)》中，我們提出，大學(xué)生人工智能素養(yǎng)是由體系化知識(shí)、構(gòu)建式能力、創(chuàng)造性價(jià)值和人本型倫理構(gòu)成的有機(jī)整體，其中知識(shí)為基、能力為重、價(jià)值為先、倫理為本。

目前，浙江大學(xué)和復(fù)旦大學(xué)等高校已將人工智能作為全校大學(xué)生通識(shí)必修課程。而且，浙江大學(xué)、復(fù)旦大學(xué)、上海交大、南京大學(xué)、中科大和同濟(jì)大學(xué)已在四年前共同推出“課程共建、學(xué)分互認(rèn)、證書(shū)共簽”的AI+X微專業(yè)，今年還將推出升級(jí)版，以進(jìn)一步加強(qiáng)人工智能通識(shí)教育和交叉學(xué)科教育。

2024年春節(jié)，我為文匯報(bào)撰寫(xiě)《Sora“超級(jí)涌現(xiàn)力”將把AI引向何方》的文章，今年春節(jié)又為DeepSeek撰稿。雖然希望人工智能年年有精彩，但我更期盼全社會(huì)分享的普遍智能到來(lái)。

DeepSeek模型特點(diǎn)速讀

混合專家稀疏模型

DeepSeek的基座模型V3采用了混合專家機(jī)制，每一個(gè)Transformer層包含256個(gè)專家和1個(gè)共享專家，V3基座模型總共有6710億參數(shù)，但每次token僅激活8個(gè)專家、370億參數(shù)。這一創(chuàng)新算法與稠密模型相比，預(yù)訓(xùn)練速度更快；與具有相同參數(shù)數(shù)量的模型相比，具有更快的推理速度。

低秩注意力機(jī)制

低秩注意力機(jī)制又被稱為多頭潛在注意力機(jī)制。DeepSeek引入“低秩”這一概念，對(duì)巨大的注意力機(jī)制矩陣進(jìn)行壓縮，減少參與運(yùn)算的參數(shù)數(shù)量，從而在保持模型性能的同時(shí)顯著降低計(jì)算和存儲(chǔ)成本，把顯存占用降到了其他大模型的5%—13%，極大提升了模型運(yùn)行效率。

強(qiáng)化學(xué)習(xí)推理

DeepSeek這次在訓(xùn)練推理模型中直接采用了一條前所未有的“純”強(qiáng)化學(xué)習(xí)路徑，僅根據(jù)模型輸出答案優(yōu)劣以及輸出答案格式完整等簡(jiǎn)單信息，對(duì)模型行為進(jìn)行獎(jiǎng)懲。

該方法不僅對(duì)計(jì)算資源的需求大幅減少，還可讓模型以“頓悟”的方式學(xué)會(huì)思考，并用人類易懂的方式表達(dá)思維過(guò)程。

模型蒸餾

為了讓簡(jiǎn)潔緊湊的小模型具備DeepSeek-R1那樣的推理能力，DeepSeek開(kāi)發(fā)團(tuán)隊(duì)采用蒸餾方法來(lái)增強(qiáng)小模型的推理能力，即讓小模型模仿大模型回答問(wèn)題的結(jié)果，來(lái)提升自身能力。

工程創(chuàng)新

DeepSeek使用FP8混合精度加速訓(xùn)練并減少GPU內(nèi)存使用，使用DualPipe算法（即將前向和后向計(jì)算與通信階段重疊，以最大限度減少計(jì)算資源閑置）提升訓(xùn)練效率，并進(jìn)行了極致的內(nèi)存優(yōu)化。他們開(kāi)發(fā)了一套完善的數(shù)據(jù)處理流程，著重于最小化數(shù)據(jù)冗余，同時(shí)保留數(shù)據(jù)的多樣性。nM5即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com