哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“DeepSeek顛覆了什么？學(xué)習(xí)不靠“人盯”AI自己“卷”自己”，并學(xué)會本篇文章中所講的全部知識點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

DeepSeek顛覆了什么？學(xué)習(xí)不靠“人盯”AI自己“卷”自己：

DeepSeek 的最大功績在于將這一切透明化
InfoQ：“DeepSeek 堅(jiān)持純強(qiáng)化學(xué)習(xí)路線，但業(yè)界常說 RL（強(qiáng)化學(xué)習(xí)）是‘煉丹’”——他們?nèi)绾巫屵@個過程可控和“平民化”？有什么”推理范式的創(chuàng)新”？
李維博士： 實(shí)際上，推理模型的強(qiáng)化學(xué)習(xí)一直是業(yè)界的難題。大約半年前，IIya 等人宣稱預(yù)訓(xùn)練時代已經(jīng)結(jié)束，這意味著單純依靠預(yù)訓(xùn)練模型的規(guī)模擴(kuò)展來提高性能已經(jīng)難以為繼。GPT-5 遲遲不能上線也是預(yù)訓(xùn)練式微的一個跡象。因此，業(yè)界開始尋找新的增長道路，推理大模型在頭部團(tuán)隊(duì)開始暗流涌動，直到 Open AI 發(fā)布全球第一個推理大模型 O1. 緊接著就是 DeepSeek 的 R1 出圈，這就是 Deepseek 爆火的背景。

從 神神秘秘、據(jù)傳引發(fā)了 OpenAI 宮斗的 Q-Star 項(xiàng)目開始到 o1 大模型的推出，推理大模型被 AI 主流廣泛公認(rèn)為新的范式。這種范式的核心是開啟模型的“慢思考”能力，即所謂 System 2，利用強(qiáng)化學(xué)習(xí)提升模型在復(fù)雜任務(wù)中的智能程度。然而，這一切都是閉源的，OpenAI 甚至故意制造了一些神秘感，遮掩其思維鏈的內(nèi)容。除了少數(shù)頭部玩家如 Google 和 Anthropic 在背后悄悄探索追蹤外，其他團(tuán)隊(duì)對這一領(lǐng)域知之甚少。

DeepSeek 的 最大功績在于將這一切透明化。它的模型和詳盡的技術(shù)論文全部開源，甚至也不怕露怯，在系統(tǒng)里公開了思維鏈的所有內(nèi)容。它通過純粹強(qiáng)化學(xué)習(xí)，證明了即使沒有過程控制數(shù)據(jù)，僅通過結(jié)果控制也能達(dá)到頭部推理大模型的水平。這就好像是捅破了一層窗戶紙，讓業(yè)界看到了強(qiáng)化學(xué)習(xí)平民化的道路。

InfoQ：推理范式的創(chuàng)新聽起來很抽象，能否舉個例子？
李維博士：DeepSeek 的 R1 論文非常出色，堪稱大模型領(lǐng)域中的一篇佳作。論文分為兩部分：一部分是關(guān)于 Zero 的研究，這是純粹的強(qiáng)化學(xué)習(xí)推理方向的成果，非常精彩；另一部分則是基于 Zero 研究成果的實(shí)用系統(tǒng) R1，這是一個真正上線的頭部推理大模型。在開發(fā) R1 時，需要考慮實(shí)用性，包括綜合性能、安全性以及各種實(shí)用考量等，因此論文中詳細(xì)介紹了四階段訓(xùn)練的最佳實(shí)踐（best practice），幫助其他團(tuán)隊(duì)理解和復(fù)制這一成果。

論文最精彩的部分還是 Zero 的研究。Zero 的研究證明了一個顛覆性的觀點(diǎn)：與傳統(tǒng)認(rèn)知（或 OpenAI 所暗示的需要在每一步監(jiān)督推理強(qiáng)化學(xué)習(xí)的觀點(diǎn)）不同，實(shí)際上并不需要過程監(jiān)督。僅通過最終結(jié)果（即“黃金標(biāo)準(zhǔn)”）作為監(jiān)督信號，就能訓(xùn)練出推理大模型所需的“慢思考”過程。

這是 Zero 的最大亮點(diǎn)，也是其名稱的由來——它借鑒了 AlphaZero 的精神。AlphaZero 在人工智能歷史上開創(chuàng)性地完全不依賴人類棋譜或經(jīng)驗(yàn)學(xué)習(xí)，而是通過自我對弈的再生的過程數(shù)據(jù)（即：棋局狀態(tài) + 落子 + 評分的三元組步驟數(shù)據(jù)），實(shí)現(xiàn)了零人類監(jiān)督的強(qiáng)化學(xué)習(xí)，并最終完全碾壓了人類頂尖棋手。DeepSeek 的 Zero 研究也是如此，它表明在推理任務(wù)中，模型可以自主生成內(nèi)部的過程數(shù)據(jù)，即思維鏈（CoT，Chain of Thought）序列，而無需人類標(biāo)注。

具體來說，推理模型最初以數(shù)學(xué)和代碼為對象，因?yàn)檫@些領(lǐng)域本身就存在標(biāo)準(zhǔn)答案。從宏觀上看，這其實(shí)是一種典型的端到端監(jiān)督學(xué)習(xí)，因?yàn)檩斎攵耍〝?shù)學(xué)題或代碼題）和輸出端（答案或代碼運(yùn)行結(jié)果）都是固定的、已知的。然而，從輸入到輸出的過程非常復(fù)雜，信息差很大，這就需要一個“思維鏈”作為橋梁。就像人類遇到難題時需要分解問題、逐步思考一樣，模型也需要這樣的過程。DeepSeek 的研究發(fā)現(xiàn)，模型本身具有自主學(xué)習(xí)這種深度思考過程的能力，只要給予足夠的時間和空間。如果沒有這個空間，模型就只能直接從問題跳到答案，信息鴻溝大，隨機(jī)性就強(qiáng)，成績好不了。

DeepSeek 的解決方案是通過設(shè)計(jì)一個簡單模板引導(dǎo)模型進(jìn)行思考。具體說，就是在傳統(tǒng)的監(jiān)督數(shù)據(jù) question+answer 里面人為增加了一個標(biāo)簽 [think]: question+[think]+answer, 通過強(qiáng)化學(xué)習(xí)的方式，模型會自主填空，再生過程數(shù)據(jù) question+CoT+answer，以此迭代學(xué)習(xí)，CoT 中就自動出現(xiàn)了反思、自我校正等過程。這表明，只要給予模型思考的空間，它就能自主生成思維鏈。非常奇妙！

給模型留夠充分的自主學(xué)習(xí)空間
InfoQ：動態(tài)推理路徑聽起來像 AI 自己“畫思維導(dǎo)圖”——但如何避免它中途跑偏？比如寫代碼時突然開始寫詩？
李維博士： 從目前的情況來看，這種可能性幾乎不存在，或者概率極低，可以忽略不計(jì)。在 Deepseek 公布他們的結(jié)果和研究細(xì)節(jié)之前，大家確實(shí)對這一點(diǎn)感到困惑：只靠結(jié)果監(jiān)督，沒有過程監(jiān)督，深度思維不會亂套嗎。在沒有真正進(jìn)行大規(guī)模強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)之前，這確實(shí)是一個很大的疑問。就好比放風(fēng)箏，你只牽著一根線，讓風(fēng)箏在天上自由飛翔，你會擔(dān)心它會不會一頭栽到地上。

現(xiàn)在看來是過慮了。它不會走偏的原因在于，所有這些推理的強(qiáng)化學(xué)習(xí)，包括自主生成的推理思維鏈的數(shù)據(jù)，實(shí)際上都是建立在原有的頭部大模型（如 V3）的基礎(chǔ)上的。這些大模型在海量數(shù)據(jù)的學(xué)習(xí)過程中，已經(jīng)很好地掌握了如何把話說得順溜。這種“順溜”的背后是條理性。雖然不能說它完全等同于邏輯性，但至少不會偏離到完全不合理的情況。就像一個人說話很順暢，背后的思想相對來說也是有條理的。

所以，模型在原有大模型的基礎(chǔ)上生成數(shù)據(jù)，經(jīng)過篩選和強(qiáng)化學(xué)習(xí)迭代，會越來越條理化。這種思考方式本身是由大模型自然生成的，再加上有選擇機(jī)制在不斷強(qiáng)化過程中讓它越來越符合條理地導(dǎo)向正確答案。

話說回來，在研究人員真正做出成果之前，大家心里還是充滿了懷疑和疑問，不知道讓機(jī)器模擬學(xué)習(xí)人類的高階智能這條路是否真的能走通。如果是一個能力弱的小模型，這條路是否能走通就很難說了。但 V3 本身是一個很強(qiáng)大的基座模型，在此基礎(chǔ)上讓模型自己生成思維鏈，雖然這些思維鏈并不總是很有條理，但并不影響最終結(jié)果。因?yàn)檫@是一個以結(jié)果為導(dǎo)向的強(qiáng)化學(xué)習(xí)過程，只要堅(jiān)持用正確和錯誤的結(jié)果來控制強(qiáng)化學(xué)習(xí)過程，即使思維鏈中有時會出現(xiàn)一些偏差，但總體目標(biāo)是一致的，最終還是能學(xué)到推理高難度題目的能力。

再從更大的角度來看，我們發(fā)現(xiàn)當(dāng)大模型發(fā)展到一定程度時，日常人類的數(shù)據(jù)已經(jīng)基本用盡，高品質(zhì)的數(shù)據(jù)也所剩無幾。要進(jìn)一步提升能力，就必須依靠模型自己生成數(shù)據(jù)。說到底，AI 發(fā)展到現(xiàn)在，需要 AI 自己反哺自己才能進(jìn)一步提升。

在過去很長一段時間里，很多人對這一點(diǎn)存在疑問，擔(dān)心模型自己教自己會導(dǎo)致退化，或者即使是一個好的模型教一個差的模型，也會有天花板。但現(xiàn)在回過頭來看，再生數(shù)據(jù)的重要性越來越大。不僅是推理模型，就連多模態(tài)大模型也是如此。以 Sora 為例，我們知道視頻和語言之間的自然對齊數(shù)據(jù)非常少，很難找到大量對視頻情節(jié)進(jìn)行詳細(xì)講解的數(shù)據(jù)。為了實(shí)現(xiàn)視頻和語言的對齊，Sora 選擇了再生數(shù)據(jù)的道路，用自己的模型對整個的視頻訓(xùn)練數(shù)據(jù)集進(jìn)行了非常詳細(xì)的標(biāo)注。再生數(shù)據(jù)助力，Sora 成為了第一個爆款的視頻大模型。如今，國內(nèi)的視頻大模型也已經(jīng)迎頭趕上，如快手的可靈和字節(jié)的即夢，甚至比 Sora 還要更強(qiáng)一些，這背后也離不開再生數(shù)據(jù)的作用。

InfoQ：另一方面，與 OpenAI 的 o1 相比，DeepSeek R1 還有一個顯著亮點(diǎn)是將推理思維鏈應(yīng)用到了語言文字的創(chuàng)作和風(fēng)格模仿能力上，這一點(diǎn)可以詳細(xì)介紹一下嗎？
李維博士：o1 出來時，大家都知道它在數(shù)學(xué)和代碼能力上有了顯著提升，因?yàn)闃?biāo)準(zhǔn)測試顯示它達(dá)到了一個更高的水平。但大家沒有意識到的是，這種推理能力，或者說“慢思維”能力，不僅僅在需要嚴(yán)格邏輯推理的領(lǐng)域表現(xiàn)出色，它在傳統(tǒng)的語言文字創(chuàng)作方面同樣可以大放異彩。

傳統(tǒng)上，語言文字能力一直是大模型的強(qiáng)項(xiàng)，大家都知道大模型生成的語言非常流暢。到了像 4o 或 V3，它們寫文章已經(jīng)很順了，似乎提升空間不大。然而，當(dāng)要求模型寫一篇古典詩歌，或者模仿魯迅的文風(fēng)時，之前的模型還做不到。直到 R1 推出，這些問題都得到了解決。從社會效應(yīng)來看，這其實(shí)是非常厲害的。

老實(shí)說，真正關(guān)心數(shù)學(xué)或代碼的人并不多，雖然我們知道代碼是今后幾年的一個大方向，自動編程能改變世界。所有 IT 方面的東西歸根結(jié)底都是軟件，數(shù)字世界是由軟件構(gòu)成的。如果軟件能力可以從手工編寫變成模型輔助，甚至模型自主編寫，這將極大地提高我們的生產(chǎn)力。這是大家都能看到的，但對普通老百姓來說卻沒有那么直觀，因?yàn)樗麄兠鎸Φ母嗍菍懳恼氯绾纬霾蔬@類任務(wù)。

當(dāng) R1 的文科能力被大家發(fā)現(xiàn)后，不僅僅是極客或者做軟件應(yīng)用的人看到了推理模型的好處，普通人也為之奔走相告。一旦上手，任何人都可以成為詩人、文學(xué)家、哲學(xué)家，這種震撼是非常大的。在 o1 出來時，大家沒有這種感覺，可能是因?yàn)?OpenAI 沒有意識到，或者至少沒有聚焦這一點(diǎn)。但 DeepSeek 在做代碼和數(shù)學(xué)推理時，內(nèi)部肯定已經(jīng)意識到，這種“慢思維”在文字能力方面也可以提升一大步，尤其是在中文領(lǐng)域。

大家都知道，中文的數(shù)據(jù)相對沒有英文那么豐富，所以之前大模型寫英文詩可以寫得很漂亮，但寫唐詩就不夠好。這可能是因?yàn)橹形臄?shù)據(jù)要么量不夠，要么品質(zhì)不夠，導(dǎo)致模型學(xué)習(xí)得不夠到位。我們一直覺得這是一個遺憾，模型寫詩有時押韻，有時不押韻，有時多一個字，少一個字，更不用說平仄，總是有問題。DeepSeek 在這方面肯定下了功夫，其數(shù)據(jù)品質(zhì)一定比行業(yè)標(biāo)準(zhǔn)更高、更好。

但大模型光有數(shù)據(jù)還不夠，另一條腿是推理時間的計(jì)算量。在用戶實(shí)際使用時，增加計(jì)算量和思考時間，我們發(fā)現(xiàn)模型的文字能力顯著提升了層次，這給大家的震撼非常大。思維鏈?zhǔn)悄Ｐ汀奥伎肌钡囊粋€特征。一開始，我們可能想當(dāng)然地認(rèn)為，邏輯思維是它的核心，思維鏈就是要非常嚴(yán)謹(jǐn)?shù)胤线壿嫷拿總€步驟，以確保在數(shù)理化和代碼中表現(xiàn)出色。

但我們根本沒想到，在文學(xué)創(chuàng)作這種領(lǐng)域，并不需要嚴(yán)謹(jǐn)?shù)倪壿嬎季S，它更多的是要有想象力，需要反復(fù)斟酌和修改。比如你要寫一篇非常漂亮的文章，或者模仿一種風(fēng)格，你需要考慮的方面很多，寫古風(fēng)詩詞要考慮押韻、平仄、用詞，考慮如何用古典文字表達(dá)現(xiàn)代概念等。為了寫出一篇好文章，你需要周密地計(jì)劃，這本質(zhì)上是一種“planning”，而不僅僅是狹義的“reasoning”?？梢?，慢思維背后的真正價值在于為最終結(jié)果做鋪墊，制定計(jì)劃和反復(fù)修正。 無論任務(wù)是文科還是理科，只要是高難度的任務(wù)，都需要這種“planning”的時間，就像我們打草稿、反復(fù)校改一樣，這些都是思維鏈的用武之地。

InfoQ：思維鏈機(jī)制具體是如何產(chǎn)生的？
李維博士：DeepSeek 之所以能夠產(chǎn)生復(fù)雜的思維鏈，背后是因?yàn)樗腔陬^部大模型 V3 訓(xùn)練的，而 V3 所涵蓋的知識比我們?nèi)魏蝹€體所了解的都要廣博得多得多。在這基礎(chǔ)上，關(guān)鍵點(diǎn)是要給模型留下空間，讓它有自主學(xué)習(xí)的機(jī)會。作為設(shè)計(jì)者或開發(fā)者，需要設(shè)計(jì)出這樣的空間，讓模型自己去填補(bǔ)、去學(xué)習(xí)。DeepSeek 就是這樣實(shí)現(xiàn)的。它設(shè)計(jì)了一種格式，在輸入問題 question 和輸出答案 answer 之間，它留下了一個“思考”的空間，用標(biāo)簽 [think] 來標(biāo)記: question+[think]+answer。這個 think 標(biāo)簽就是準(zhǔn)備要學(xué) 思維鏈（CoT） 的, 雖然開始為空，Zero 的 research 表明：只要留下 think 的標(biāo)簽，就給 LLM 自主填補(bǔ) CoT 留下了空間。此后他們“啊哈”地驚喜發(fā)現(xiàn)，越來越條理化的 CoT 居然在 GRPO 組內(nèi)選優(yōu)的強(qiáng)化學(xué)習(xí)迭代算法的指引下，就自主學(xué)出來了。啥也不用做，模型就是自己要思考，而且能思考。LLM really wants/tends to think and think deep if given a chance. 比如，它可能會在推理過程中發(fā)現(xiàn)自己前面的某個結(jié)論與已知事實(shí)不符，于是就會自我糾正，說：“不對，這里可能有偏差?！边@種反思和自我糾正的能力，是模型在學(xué)習(xí)過程中自然形成的。可以想像研究者當(dāng)時的興奮之情, 簡直就是上帝給他們面授了天機(jī)。不但他們“啊哈”, 我們讀論文追蹤他們的人也感覺開了天目，不可思議，但 it just works。Zero research 的美麗就是沒有人工的過程數(shù)據(jù)的任何干預(yù)，完完全全的純強(qiáng)化出來的奇跡。

從信息論的角度來說，思維鏈降低了困惑度（perplexity），搭建了從難題到答案之間的橋梁，使得得出正確結(jié)論的可能性增大，從而提高了模型的智能。

推理模型已經(jīng)進(jìn)入“平民化”時代
InfoQ：如果讓您給程序員推薦一個最值得復(fù)現(xiàn)的 DeepSeek 模塊，會是哪個？比如各種聲稱幾十美元復(fù)制 R1 的 Aha moment？
李維博士： 如果讓我推薦程序員群體最值得復(fù)現(xiàn)的 DeepSeek 模塊，大概會是與 Zero 研究相關(guān)的部分。這種復(fù)現(xiàn)并不是從全面能力上，而是證實(shí)了 Zero 研究中揭示的關(guān)鍵點(diǎn)——機(jī)器確實(shí)能夠自主學(xué)到反思能力或慢思維推理。這是 OpenAI 一直遮掩不讓人知道的，也許他們早就悟出來了，但就是不公開。

現(xiàn)在，我們看到至少有五六組不同的團(tuán)隊(duì)，用很少的資源就復(fù)現(xiàn)出了 R1 的這種反思能力。這不僅是一個有趣的實(shí)驗(yàn)，更關(guān)鍵的是，它標(biāo)志著 推理模型已經(jīng)進(jìn)入“平民化”時代。以前，大家不知道推理模型是如何工作的，只知道需要大量的過程數(shù)據(jù)，模型才能學(xué)會慢思維。這被認(rèn)為是一個難以跨越的門檻，因?yàn)檫^程數(shù)據(jù)很難獲取，而且強(qiáng)化學(xué)習(xí)的不穩(wěn)定性高、對數(shù)據(jù)要求也高，所以很多程序員覺得這條路很難走。

但現(xiàn)在，我們知道可以繞過這個最繁難的過程數(shù)據(jù)，通過有限的資源復(fù)現(xiàn)這種“Aha moment”，證明慢思維能力是可以讓模型自主學(xué)出來的?；谶@個前提，如果你是一個行業(yè)專家（domain expert），在自己的項(xiàng)目或應(yīng)用領(lǐng)域中，你會想：是否可以用這些技術(shù)在你的領(lǐng)域?qū)崿F(xiàn)大幅提升？這是完全可能的。因?yàn)榧词故亲顝?qiáng)大的大模型（如 V3 或 4o），在具體場景中如果不經(jīng)過優(yōu)化，也只能達(dá)到 60%~70% 的正確率，而在 real life 應(yīng)用場景中，經(jīng)驗(yàn)告訴我們沒有 80% 或 85% 以上的正確率，根本無法上線一個真正有價值的系統(tǒng)。

從大模型的“開箱即用”（out-of-box）結(jié)果到真正能投入應(yīng)用并產(chǎn)生價值，中間存在一個差距。以前，我們想到的唯一方法是收集領(lǐng)域數(shù)據(jù)進(jìn)行微調(diào)。但現(xiàn)在，我們多了一條路：順著推理模型的思路，讓系統(tǒng)充分發(fā)揮推理階段的慢思維能力，從而提升數(shù)據(jù)質(zhì)量到可接受甚至出彩的程度。這條路似乎已經(jīng)打通了。

不過，我的碼農(nóng)朋友告訴我，他做了一個微調(diào)（SFT）與 Deepseek 式強(qiáng)化學(xué)習(xí)（RL）的對比實(shí)驗(yàn)，發(fā)現(xiàn) RL 的確強(qiáng)過 SFT，但 RL 訓(xùn)練目前的計(jì)算代價還是遠(yuǎn)遠(yuǎn)大于 SFT。效果好于 SFT 可以理解，因?yàn)?SFT 的數(shù)據(jù)總是非常有限的，而 RL 自主再生的數(shù)據(jù)成功強(qiáng)化的話，會遠(yuǎn)遠(yuǎn)大于 SFT 數(shù)據(jù)。

仔細(xì)看 R1 的設(shè)計(jì)，它是一個實(shí)用系統(tǒng)，不像 Zero 那么純粹。Zero 是一個研究項(xiàng)目，旨在證明可以排除人類干預(yù)來構(gòu)建推理模型。但 R1 是為了實(shí)際應(yīng)用，所以它結(jié)合了微調(diào)和強(qiáng)化學(xué)習(xí)：遵循他們自己創(chuàng)新的 SFT+RL+SFT+RL 的四階段訓(xùn)練的 pipeline。它在第一階段是微調(diào)，使用了 2,000 條左右的人類過程數(shù)據(jù)來提高效率，他們稱為“冷啟動”。強(qiáng)化學(xué)習(xí)之后，又加入了微調(diào)和最后的偏好強(qiáng)化學(xué)習(xí)，以確保合適的數(shù)據(jù)配比和能力平衡，以及與人類偏好的對齊。這種設(shè)計(jì)是經(jīng)過深思熟慮，可能經(jīng)過了很多嘗試和調(diào)整，最終呈現(xiàn)出的一個最佳實(shí)踐。

雖不好說 R1 的這種設(shè)計(jì)一定就是絕對的最佳方案，但它確實(shí)提供了一個很好的思路：現(xiàn)在我們有兩個工具——SFT 和 RL。如果能夠?qū)⑦@兩個工具很好地結(jié)合起來，互相補(bǔ)充，那么在實(shí)際應(yīng)用場景中，我們就能構(gòu)建出更好的系統(tǒng)。

從更廣泛的意義上說，DeepSeek 的出現(xiàn)不僅是因?yàn)楦鞣N原因而短暫火爆，它更重要的作用是極大地加速了大模型向應(yīng)用領(lǐng)域發(fā)展的速度。這對整個行業(yè)來說是一個巨大的利好刺激。

InfoQ：有人說大模型是“暴力美學(xué)”，但 OpenAI 的前首席科學(xué)家、聯(lián)合創(chuàng)始人 IIya 說預(yù)訓(xùn)練到頭了，怎么講？推理模型出現(xiàn)的背景就是增加了又一個暴力美學(xué)的 scaling law 嗎？？
李維博士： 這更像是技術(shù)聚焦點(diǎn)的轉(zhuǎn)移和技術(shù)創(chuàng)新的范式轉(zhuǎn)變。大模型涉及三大塊：首先是預(yù)訓(xùn)練，這是大模型的基礎(chǔ)能力，從海量數(shù)據(jù)中學(xué)習(xí)基本規(guī)律；其次是后訓(xùn)練，最初主要是微調(diào)，OpenAI 早期也用了一些強(qiáng)化學(xué)習(xí)（如 RLHF）來對齊人類偏好，但到了 Meta 時，他們甚至放棄了典型的 RLHF，代之以更簡單的 DPO，因?yàn)榕c很多人一樣，他們玩不轉(zhuǎn)。最后是推理階段的工作，即模型上線后與用戶交互的階段。

這三個階段理論上都可能找到資源投入與性能提升之間的正相關(guān) S 曲線，即 scaling laws 的某種表現(xiàn)函數(shù)。在過去，預(yù)訓(xùn)練是最受重視的部分，大家認(rèn)為只要數(shù)據(jù)量不斷加大、模型規(guī)模足夠大，能力就一定持續(xù)提升。

LLM Scaling 的底層邏輯是什么？為什么到了千億 tokens 這種以前難以想象的數(shù)據(jù)規(guī)模，大模型依然顯得”吃不飽”？為什么從千億擴(kuò)展到萬億 tokens，scaling law 依然有效？

這個現(xiàn)象的關(guān)鍵在于 LLM 是序列學(xué)習(xí)（編碼）和序列推理（解碼）的系統(tǒng)。序列本身是一維的，但序列中蘊(yùn)含的 patterns 和規(guī)律性卻是高維的。舉個例子：即使是簡單的”貓追老鼠”這樣的序列，背后可能涉及物種關(guān)系、捕食行為、空間運(yùn)動等多個維度的知識。這種多維知識表現(xiàn)在序列層面，就會發(fā)生天然的組合爆炸。對大數(shù)據(jù)的”大胃口”正是應(yīng)對這種組合爆炸的有效策略。

然而，人類自然產(chǎn)生的高質(zhì)量數(shù)據(jù)是有限的。預(yù)訓(xùn)練已經(jīng)幾乎吃盡了現(xiàn)有的高質(zhì)量自然數(shù)據(jù)。業(yè)界開始意識到數(shù)據(jù)增長的困擾，性能提升也變得困難。GPT-5 難產(chǎn)，據(jù)傳投入大量算力卻收效有限，這表明 預(yù)訓(xùn)練可能遭遇了瓶頸。

于是，業(yè)界開始探索另外的 AI 智能增長曲線。強(qiáng)化學(xué)習(xí)的推理模型就是在這種背景下走到主流舞臺的中心：應(yīng)該 在后訓(xùn)練中加入純粹的強(qiáng)化學(xué)習(xí)。以前的強(qiáng)化學(xué)習(xí)依賴人類偏好，但這次是讓模型在得出答案之前有更多思考時間，學(xué)習(xí)背后的規(guī)律。V3 已經(jīng)做得很好，但當(dāng)時除了業(yè)界并沒有在社會上引起太大轟動。直到 R1 出現(xiàn)，Deepseek 才真出圈了，成了春節(jié)后最受關(guān)注的大眾話題，在海外也引發(fā)了熱議和震驚。R1 代表了一種新的范式。在 R1 之前，只有 OpenAI 出了 o1 這種推理模型，給人一種高不可攀的感覺，大家不知道如何跟進(jìn)。然而，R1 不僅復(fù)現(xiàn)了 o1 的能力，還更加透明、清晰。這種反差進(jìn)一步凸顯了 R1 作為開源大模型引領(lǐng)者的重要性。

未來腦洞
InfoQ：DeepSeek 乍看就是工程上的極致化，為什么會引起全世界的轟動？它的獲客速度（一周上億）超過了 ChatGPT 核爆的時候？它的歷史地位到底如何？
李維博士： 從我個人的體會和感受來說，大模型的發(fā)展歷程中，ChatGPT 的爆火是一個標(biāo)志性事件。其實(shí)我們業(yè)內(nèi)人在 ChatGPT 出現(xiàn)之前就開始關(guān)注大模型了，至少從 GPT-3 開始吧。當(dāng)時 GPT-3 的 Playground 出現(xiàn)，我們樂在其中，就已經(jīng)感覺到一場風(fēng)暴要來了。但從整個社會的感知來看，真正引發(fā)全社會震動的還是 ChatGPT 的出現(xiàn)，它像核爆一樣震撼了我們，超出了所有人的預(yù)期。ChatGPT 出來，我們就陷入了一種癡迷的狀態(tài)。

R1 的 出現(xiàn)，我認(rèn)為是繼 ChatGPT 之后的第二個重大震撼。當(dāng)然，在 ChatGPT 和 R1 之間也出現(xiàn)了一些有影響力的大模型，比如 4o，它也是一個了不起的里程碑。我們當(dāng)時覺得 ChatGPT 已經(jīng)很好了，3.5 版本已經(jīng)很出色了，但 4o 的出現(xiàn)證明了它還可以更好。我們一直在案頭使用它。再后來出現(xiàn)了 Sora，這種視頻大模型也給人帶來了震撼。我個人還特別喜歡一個叫 Suno 的音樂模型，它在音樂創(chuàng)作方面表現(xiàn)出色，讓我覺得自己仿佛一夜之間就能成為音樂家，想寫什么歌就寫什么歌，還能配上自己的視頻。這些模型都給人帶來了不同階段的震撼，但都沒有 R1 這么強(qiáng)烈。

如果讓我排序的話，我認(rèn)為 R1 的震撼力僅次于 ChatGPT，甚至超過了 4o 和 Sora 所創(chuàng)造的轟動效應(yīng)。R1 的震撼感有點(diǎn)類似于當(dāng)年 ChatGPT 剛出現(xiàn)時的感覺，讓人癡迷。ChatGPT 是開天辟地的大模型，R1 總體上是一個追隨者，盡管它有很多創(chuàng)新亮點(diǎn)，有些方面甚至超越了之前的模型，比如在古典詩詞創(chuàng)作和文風(fēng)模仿方面。作為追隨者，能在太平洋兩岸乃至全球引起如此大轟動，是奇跡般的成就。

從實(shí)際效果來看，R1 的產(chǎn)品化非常成功。它在一周內(nèi)就獲得了上億客戶，遠(yuǎn)遠(yuǎn)打破了 ChatGPT 所創(chuàng)造的記錄，提升了整個社會對 AI 的感知度。此外，從地緣政治對技術(shù)應(yīng)用的影響來看，國內(nèi)很多用戶一直渴望使用全世界最先進(jìn)的大模型，比如 GPT 系列、Claude 或 Gemini，但常常夠不著。而 R1 的出現(xiàn)，讓人們不用擔(dān)心國內(nèi)外的限制。這些也都是促成 R1 快速普及的因素。

InfoQ：您理想中 AI 編程的終極形態(tài)是什么？是程序員對著 AI 說“給我做個抖音”，它就直接輸出可部署的代碼 + 運(yùn)維方案嗎
李維博士：總是有兩類人：懷疑派和樂觀派。像 Ilya 這樣的人，認(rèn)為通用人工智能（AGI）已經(jīng)迫在眉睫，超級智能（ASI）也在不遠(yuǎn)的未來，所以現(xiàn)在最大的問題是確保超級智能的安全性。

Anthropic 的 CEO 預(yù)計(jì)，在未來 3 到 5 年內(nèi)，大模型將實(shí)現(xiàn)真正的突破，不僅僅是目前讓我們震撼的表現(xiàn)和 demos，而是真正能在生產(chǎn)力上對整個社會帶來革命性的改變。他們所說的，歸根結(jié)底就是 AI 能規(guī)?；教嫒祟惖捏w力勞動和腦力勞動。目前大模型雖然很熱鬧，但在社會生活中的實(shí)際應(yīng)用還遠(yuǎn)未達(dá)到上一代移動互聯(lián)網(wǎng)平臺的水平。上一代的 super apps，比如美團(tuán)、滴滴、小紅書、抖音等，它們改變了我們?nèi)粘Ｉ蟮闹饕矫?，無論吃穿住行還是通信和娛樂，它們最大程度縮短了供應(yīng)商和客戶之間的距離，這些價值我們每天都能感受到。而玩大模型雖然有趣，但在生活層面的實(shí)際價值還不明顯，應(yīng)用層面還處于爆發(fā)的前夕。

值得指出的是，DeepSeek 的出現(xiàn)降低了大模型應(yīng)用門檻，為應(yīng)用鋪平了道路，雖然目前我們還沒有進(jìn)入應(yīng)用真正爆發(fā)的時代。未來，當(dāng) AI 應(yīng)用真正爆發(fā)時，會是什么時候、什么樣子呢？我認(rèn)為，最終目標(biāo)是 AI 在腦力勞動和體力勞動中全面代替人類。大模型對白領(lǐng)階層的沖擊，跡象已經(jīng)很明顯，甚至連程序員群體都難幸免。體力勞動方面，具身智能發(fā)展也很快，無論是人形機(jī)器人還是機(jī)械手，都在逐步代替人類的體力勞動。

當(dāng)然，這也會帶來副作用，比如大量工作崗位消失，社會如何適應(yīng)這種生產(chǎn)力大發(fā)展但缺乏工作崗位的狀態(tài)，是另一個層面的討論。但從 AI 本性和最終目標(biāo)來看，AI 的發(fā)展可以有兩個里程碑：一是何時能替代人類 50% 的工作，讓社會只需要一半人工作，剩下的人通過基本收入保障（UBI）等方式維持一個體面的自由生活，在我看來這就是 AGI 到老的標(biāo)志；二是何時能替代 90% 的人類工作，這可能算是所謂的超級智能（ASI）出現(xiàn)的時候，某種意義上的技術(shù)共產(chǎn)主義。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“DeepSeek顛覆了什么？學(xué)習(xí)不靠“人盯”AI自己“卷”自己”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！