重磅實(shí)測(cè)！DeepSeek R1編程碾壓Opus 4，Claude時(shí)代終結(jié)？： 在當(dāng)今以閉源模型為主導(dǎo)、各大科技公司嚴(yán)格保護(hù)核心 AI 技術(shù)的環(huán)境下，一個(gè)開(kāi)源項(xiàng)目能夠真正挑戰(zhàn)行業(yè)頂尖產(chǎn)……
哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來(lái)到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“重磅實(shí)測(cè)！DeepSeek R1編程碾壓Opus 4，Claude時(shí)代終結(jié)？”，并學(xué)會(huì)本篇文章中所講的全部知識(shí)點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說(shuō)，現(xiàn)在就讓我們開(kāi)始這場(chǎng)激發(fā)潛能的AI學(xué)習(xí)之旅吧。
重磅實(shí)測(cè)！DeepSeek R1編程碾壓Opus 4，Claude時(shí)代終結(jié)？：
在當(dāng)今以閉源模型為主導(dǎo)、各大科技公司嚴(yán)格保護(hù)核心 AI 技術(shù)的環(huán)境下，一個(gè)開(kāi)源項(xiàng)目能夠真正挑戰(zhàn)行業(yè)頂尖產(chǎn)品實(shí)屬罕見(jiàn)。
然而，DeepSeek 前段時(shí)間更新的最新版本 DeepSeek-R1（0528）不僅做到了這一點(diǎn)，甚至在某些關(guān)鍵領(lǐng)域超越了 Claude Opus 4 和 GPT-4.1 這樣的頂級(jí)商業(yè)模型。
真正引起開(kāi)發(fā)者社區(qū)關(guān)注的是 R1（0528）在大模型公共基準(zhǔn)測(cè)試平臺(tái) LMArena 上的性能排名超越了多個(gè)頂尖封閉模型。
R1 編碼能力超過(guò) Claude Opus 4
在 WebDev Arena 中，DeepSeek-R1（0528）的性能表現(xiàn)與 Gemini-2.5-Pro-Preview-06-05、Claude Opus 4 (20250514) 等閉源大模型并列第一，更讓人驚訝的是，R1（0528）得分為 1408.84 分，在分?jǐn)?shù)上已經(jīng)超過(guò)了得分為 1405.51 的 Claude Opus 4。
WebDev Arena 是由 LMArena 開(kāi)發(fā)的實(shí)時(shí) AI 編程競(jìng)賽平臺(tái)，專注于 Web 開(kāi)發(fā)挑戰(zhàn)，讓不同 AI 模型同臺(tái)競(jìng)技、一較高下。
想想 Claude Opus 4 背后的資源。Anthropic 已經(jīng)籌集了數(shù)億美元，聘請(qǐng)了全球最優(yōu)秀的 AI 研究人員，并擁有海量的計(jì)算資源。然而，由一個(gè)規(guī)模相對(duì)較小的團(tuán)隊(duì)開(kāi)發(fā)的 DeepSeek 卻擁有與之完全匹配的性能。
這樣的成就的確令人驚嘆。因?yàn)橐朐?WebDev Arena 測(cè)試中取得高分并不是件容易事。
WebDev Arena 測(cè)試的不僅僅是基本的編碼能力。它向這些模型提出了復(fù)雜、多步驟的開(kāi)發(fā)挑戰(zhàn)。例如構(gòu)建交互式組件、調(diào)試復(fù)雜的 JavaScript 問(wèn)題、處理 CSS 邊緣情況。這些挑戰(zhàn)將實(shí)際的開(kāi)發(fā)能力與簡(jiǎn)單的代碼生成區(qū)分開(kāi)來(lái)。
除了編碼之外，DeepSeek-R1（0528）在文本競(jìng)技場(chǎng)中排名第六?，F(xiàn)在，文本競(jìng)技場(chǎng)的挑戰(zhàn)性變得更高，因?yàn)樗鼫y(cè)試廣泛的語(yǔ)言理解、推理和復(fù)雜任務(wù)的處理能力。
Text Arena 的測(cè)試也相對(duì)復(fù)雜。Text Arena 測(cè)試旨在揭示模型的弱點(diǎn)。這類挑戰(zhàn)設(shè)置得細(xì)致入微、層次豐富，模型有時(shí)候會(huì)在這些挑戰(zhàn)中暴露出“幻覺(jué)”，甚至出現(xiàn)一本正經(jīng)胡說(shuō)八道的現(xiàn)象。
Text Arena 測(cè)試結(jié)果顯示 DeepSeek 能在文本能力上與 GPT-4o、Claude Opus 以及其他由巨額企業(yè)研究預(yù)算支持的模型展開(kāi)直接競(jìng)爭(zhēng)。
在其他細(xì)分領(lǐng)域的測(cè)試中，DeepSeek-R1（0528）表現(xiàn)怎樣？具體測(cè)試結(jié)果如下：
? 在硬提示詞（Hard Prompt）測(cè)試中排名第 4
? 在編程（Coding）測(cè)試中排名第 2
? 在數(shù)學(xué)（Math）測(cè)試中排名第 5
? 在創(chuàng)意性寫(xiě)作（Creative Writing）測(cè)試中排名第 6
? 在指令遵循（Intruction Fellowing）測(cè)試中排名第 9
? 在更長(zhǎng)查詢（Longer Query）測(cè)試中排名第 8
? 在多輪（Multi-Turn）測(cè)試中排名第 7
社區(qū)：堪稱開(kāi)源界里程碑時(shí)刻
2025 年 5 月 28 日，DeepSeek 發(fā)布了 R1（0528）（或稱 R1.2），這是其開(kāi)源大語(yǔ)言模型 DeepSeek R1 系列的最新升級(jí)版本。盡管官方將其定位為“小版本更新”，但實(shí)際測(cè)試表明，DeepSeek-R1（0528） 在推理深度、代碼能力及整體穩(wěn)定性上都有很大的提升。
它還是沿用了初代 R1 的混合專家（MoE）架構(gòu)，總參數(shù)量高達(dá) 6850 億，但每次推理僅激活約 370 億參數(shù)，確保高效計(jì)算。同時(shí)，它支持 128K tokens 的長(zhǎng)上下文窗口，使其在長(zhǎng)文本理解、代碼分析和復(fù)雜邏輯推理任務(wù)中同樣表現(xiàn)出色。
此次升級(jí)的關(guān)鍵在于訓(xùn)練后優(yōu)化，DeepSeek 團(tuán)隊(duì)通過(guò)改進(jìn)推理策略和計(jì)算資源分配，使模型在數(shù)學(xué)推導(dǎo)、代碼生成和復(fù)雜問(wèn)題解決方面的能力大幅提升。
LMArena 最新測(cè)試結(jié)果在社交平臺(tái)上引發(fā)了諸多討論。
在 X 上，有 ID 名為 Sughu 的用戶表示，DeepSeek 與 Claude Opus 4 匹敵。這些數(shù)字令人難以置信。
還有用戶已經(jīng)摩拳擦掌，迫不及待想試試 R1（0528）實(shí)際使用效果怎么樣了。
還有用戶拿 R1 的開(kāi)源特性調(diào)侃 Opus 等封閉模型。
“區(qū)別在于：Opus 讓你變窮，但 R1 是免費(fèi)的。”
也有用戶認(rèn)為，DeepSeek R1 目前在測(cè)試中顯現(xiàn)出來(lái)的性能表現(xiàn)的確是讓人印象深刻，但它也有一些地方不及 Claude，比如在用戶體驗(yàn)方面還有待提升。
“DeepSeek R1 目前在 WebDev Arena 性能上與 Claude Opus 匹敵，鑒于 Claude 長(zhǎng)期以來(lái)作為代碼型 AI 基準(zhǔn)的地位，這是一個(gè)值得注意的里程碑。
這標(biāo)志著開(kāi)源人工智能的關(guān)鍵時(shí)刻。DeepSeek R1 在完全開(kāi)放的 MIT 許可證下提供了前沿級(jí)別的能力，表明開(kāi)放模型如今已能夠與最優(yōu)秀的專有系統(tǒng)相媲美。雖然這一突破在 Web 開(kāi)發(fā)領(lǐng)域最為顯著，但其影響可能會(huì)擴(kuò)展到更廣泛的編碼領(lǐng)域。
然而，原始性能并不能定義其實(shí)際效用。DeepSeek R1 在技術(shù)能力上或許能與 Claude 匹敵，但它在用戶體驗(yàn)方面仍遠(yuǎn)不及 Claude，而正是這種體驗(yàn)讓 Claude 在日常工作流程中如此高效?！?/p>
在 Reddit 平臺(tái)上，一些用戶同樣對(duì) DeepSeek R1（0528）強(qiáng)大的編碼能力表示贊揚(yáng)，甚至覺(jué)得使用 R1 輔助編程的開(kāi)發(fā)者能碾壓用其他封閉模型的開(kāi)發(fā)者。
“DeepSeek R1（0528）很火。我知道這是 LMAarena 的測(cè)試（可能會(huì)有點(diǎn)不那么準(zhǔn)確），但我絕對(duì)相信 R1 的實(shí)力有能力做到如此。我覺(jué)得它用在編程上，它的性能確實(shí)能與 Gemini/OpenAI 和 Anthropic 的模型匹敵。一個(gè)能用 DeepSeek 的程序員會(huì)碾壓使用封閉模型的普通程序?！?/p>
但也有用戶對(duì) WebDev Arena 測(cè)試的結(jié)果表示了懷疑，認(rèn)為 DeepSeek 的確很強(qiáng)大，但在 WebDev 中與 Opus 比肩，還是不太相信。
“他們（LMArena）有沒(méi)有修改評(píng)級(jí)流程或模型？DeepSeek 很棒，但在 WebDev 領(lǐng)域能和 Opus 比肩嗎？不可能的！”
其實(shí)也不怪網(wǎng)友質(zhì)疑 LMArena 的測(cè)試結(jié)果，因?yàn)榍安痪?，AI 實(shí)驗(yàn)室 Cohere、斯坦福大學(xué)、麻省理工學(xué)院和 Ai2 也聯(lián)合發(fā)表了一篇新論文，指責(zé) LMArena 在榜單分?jǐn)?shù)上偏袒一些科技巨頭公司。
論文地址：https://arxiv.org/pdf/2504.20879
據(jù)作者稱，LMArena 允許一些行業(yè)領(lǐng)先的 AI 公司（例如 Meta、OpenAI、谷歌等）私下測(cè)試多種 AI 模型變體，并且不公布表現(xiàn)最差的模型的得分。作者表示，這使得這些公司更容易在該平臺(tái)的排行榜上名列前茅。
作者稱，在科技巨頭 Meta 發(fā)布 Llama 4 之前的 1 月至 3 月期間，一家名為 Meta 的 AI 公司在 Chatbot Arena 上私下測(cè)試了 27 種模型變體。在發(fā)布時(shí)，Meta 只公開(kāi)透露了一個(gè)模型的得分——而這個(gè)模型恰好在 Chatbot Arena 排行榜上名列前茅。
這項(xiàng)研究的圖表。（圖片來(lái)源：Singh 等人）
面對(duì)這些指控，LMArena 聯(lián)合創(chuàng)始人兼加州大學(xué)伯克利分校教授 Ion Stoica 在給媒體的一封電子郵件中表示，這篇論文充滿了“不準(zhǔn)確之處”和“值得懷疑的分析”。
月之暗面新模型編程新榜單超過(guò) R1
巧合的是，今天月之暗面發(fā)布了針對(duì)軟件工程任務(wù)的全新開(kāi)源代碼大模型 Kimi-Dev-72B。
Kimi-Dev-72B 項(xiàng)目地址：https://huggingface.co/moonshotai/Kimi-Dev-72B
該模型在 SWE-bench Verified 編程基準(zhǔn)測(cè)試中取得了 全球最高開(kāi)源模型水平，以僅 72B 的參數(shù)量，成績(jī)超過(guò)了 R1（0528），而 R1（0528）在中 LMArena 的編碼能力測(cè)試中與谷歌、Anthropic 模型并列第一。
Kimi-Dev-72B 在 AI 軟件工程能力基準(zhǔn)測(cè)試 SWE-bench Verified 上取得了 60.4% 的高分，創(chuàng)下開(kāi)源模型的 SOTA 成績(jī)。
Kimi-Dev-72B 通過(guò)大規(guī)模強(qiáng)化學(xué)習(xí)進(jìn)行了優(yōu)化。它能夠自主修補(bǔ) Docker 中的真實(shí)存儲(chǔ)庫(kù)，并且只有當(dāng)整個(gè)測(cè)試套件通過(guò)時(shí)才會(huì)獲得獎(jiǎng)勵(lì)。這確保了解決方案的正確性和穩(wěn)健性，并符合現(xiàn)實(shí)世界的開(kāi)發(fā)標(biāo)準(zhǔn)。
在月之暗面官網(wǎng)上，研發(fā)團(tuán)隊(duì)介紹離 Kimi-Dev-72B 的設(shè)計(jì)理念和技術(shù)細(xì)節(jié)，包括 BugFixer 和 TestWriter 的組合、中期訓(xùn)練、強(qiáng)化學(xué)習(xí)和測(cè)試時(shí)自我博弈。
BugFixer 和 TestWriter 的組合
一個(gè)成功修復(fù)漏洞的補(bǔ)丁應(yīng)通過(guò)能準(zhǔn)確反映該漏洞的單元測(cè)試。同時(shí)，一個(gè)成功復(fù)現(xiàn)漏洞的測(cè)試應(yīng)觸發(fā)斷言錯(cuò)誤，而當(dāng)向代碼庫(kù)應(yīng)用正確的漏洞修復(fù)補(bǔ)丁后，該測(cè)試應(yīng)能通過(guò)。這體現(xiàn)了漏洞修復(fù)者（BugFixer）與測(cè)試編寫(xiě)者（TestWriter）的互補(bǔ)作用，而能力足夠強(qiáng)的編碼大語(yǔ)言模型應(yīng)能在這兩方面都表現(xiàn)出色。
漏洞修復(fù)者與測(cè)試編寫(xiě)者遵循相似的工作流程：二者均需先找到需要編輯的正確文件，再進(jìn)行代碼更新（無(wú)論是修正脆弱的實(shí)現(xiàn)邏輯，還是插入單元測(cè)試函數(shù)）。因此，針對(duì)這兩種角色，Kimi-Dev-72B 采用了相同的極簡(jiǎn)框架，僅包含兩個(gè)階段：（1）文件定位；（2）代碼編輯。漏洞修復(fù)者與測(cè)試編寫(xiě)者的雙重設(shè)計(jì)，構(gòu)成了 Kimi-Dev-72B 的核心基礎(chǔ)。
訓(xùn)練中期
為了增強(qiáng) Kimi-Dev-72B 作為漏洞修復(fù)者（BugFixer）和測(cè)試編寫(xiě)者（TestWriter）的先驗(yàn)?zāi)芰?，研發(fā)團(tuán)隊(duì)采用了約 1500 億高質(zhì)量真實(shí)世界數(shù)據(jù)進(jìn)行中期訓(xùn)練。
它們以 Qwen 2.5-72B 基礎(chǔ)模型為起點(diǎn)，收集了數(shù)百萬(wàn)條 GitHub 問(wèn)題與 PR 提交記錄作為中期訓(xùn)練數(shù)據(jù)集。該數(shù)據(jù)方案經(jīng)過(guò)精心構(gòu)建，旨在讓 Kimi-Dev-72B 學(xué)習(xí)人類開(kāi)發(fā)者如何基于 GitHub 問(wèn)題進(jìn)行推理、編寫(xiě)代碼修復(fù)方案及單元測(cè)試。研發(fā)團(tuán)隊(duì)還執(zhí)行了嚴(yán)格的數(shù)據(jù)凈化處理，排除了 SWE-bench Verified 中的所有代碼庫(kù)。中期訓(xùn)練充分強(qiáng)化了基礎(chǔ)模型在實(shí)際漏洞修復(fù)和單元測(cè)試方面的知識(shí)，使其成為后續(xù)強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練更優(yōu)的起點(diǎn)。
強(qiáng)化學(xué)習(xí)
通過(guò)適當(dāng)?shù)闹衅谟?xùn)練和 SFT，Kimi-Dev-72B 在文件本地化方面表現(xiàn)出色。因此，強(qiáng)化學(xué)習(xí)階段專注于提升其代碼編輯能力。
Kimi-Dev-72B 使用了 Kimi k1.5 中描述的策略優(yōu)化方法，該方法在推理任務(wù)中表現(xiàn)出色。對(duì)于 SWE-bench Verified，有三個(gè)關(guān)鍵設(shè)計(jì)值得重點(diǎn)關(guān)注：
? 僅基于結(jié)果的獎(jiǎng)勵(lì)。研發(fā)團(tuán)隊(duì)僅使用 Docker 的最終執(zhí)行結(jié)果（0 或 1）作為獎(jiǎng)勵(lì)，訓(xùn)練期間不采用任何基于格式或過(guò)程的獎(jiǎng)勵(lì)。
? 高效的提示集。研發(fā)團(tuán)隊(duì)過(guò)濾掉模型在多樣本評(píng)估下成功率為零的提示，從而更有效地利用大批量。此外，他們還采用課程學(xué)習(xí)法，引入新的提示，逐步提高任務(wù)難度。
? 正例強(qiáng)化。在訓(xùn)練的最后階段，研發(fā)團(tuán)隊(duì)將之前迭代中最近成功的樣本納入當(dāng)前批次。這有助于模型增強(qiáng)成功模式并提升性能。
Kimi-Dev-72B 通過(guò)使用高度并行、強(qiáng)大且高效的內(nèi)部代理基礎(chǔ)設(shè)施，從可擴(kuò)展數(shù)量的問(wèn)題解決任務(wù)的訓(xùn)練中受益匪淺。
經(jīng)過(guò)強(qiáng)化學(xué)習(xí)后，Kimi-Dev-72B 能夠同時(shí)掌握 BugFixer 和 TestWriter 的角色。在測(cè)試過(guò)程中，它會(huì)采用自我博弈機(jī)制，協(xié)調(diào)自身 Bug 修復(fù)和測(cè)試編寫(xiě)的能力。
BugFixer 和 TestWriter 之間的測(cè)試時(shí)自我對(duì)弈。
每個(gè)問(wèn)題最多可生成 40 個(gè)補(bǔ)丁候選和 40 個(gè)測(cè)試候選（按照標(biāo)準(zhǔn)無(wú)代理設(shè)置），可以觀察到測(cè)試時(shí)間自玩的擴(kuò)展效應(yīng)。
嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“重磅實(shí)測(cè)！DeepSeek R1編程碾壓Opus 4，Claude時(shí)代終結(jié)？”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對(duì)AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問(wèn)是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請(qǐng)關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！
微信掃一掃 
支付寶掃一掃 
