哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“大模型開源變天：Llama 4不敵DeepSeek英偉達”，并學(xué)會本篇文章中所講的全部知識點。還是那句話“不必遠征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

大模型開源變天：Llama 4不敵DeepSeek英偉達：

當(dāng)?shù)貢r間 4 月 8 日，英偉達宣布推出其最新大語言模型 Llama3.1 Nemotron Ultra 253B。該模型基于 Meta 的 Llama-3.1-405B-Instruct 構(gòu)建，并利用創(chuàng)新的神經(jīng)架構(gòu)搜索（NAS）技術(shù)進行了深度優(yōu)化。其性能超越了最近發(fā)布的 Llama4，如 Behemoth、Maverick，并在 Hugging Face 平臺上開源，引起 AI 社區(qū)廣泛關(guān)注的同時，也再次“暴擊”了 Meta。

可查看：https://huggingface.co/nvidia/Llama-3_1-Nemotron-Ultra-253B-v1

Meta 在大模型開源領(lǐng)域一直是作為領(lǐng)頭羊的存在，但上周末發(fā)布的 Llama 4 卻一度讓 Meta 陷入尷尬。

Abacus.AI 首席執(zhí)行官 Bindu Reddy 表示，“如果沒有 DeepSeek 和 Qwen，開源就會落后很多?！边€有網(wǎng)友評價道，“Meta 頹勢盡顯，從 Llama3.1 起，技術(shù)上 insight 就慢慢落后了。回顧往昔，Llama2 還真是最巔峰?！盠lama 4 的翻車還引發(fā)了大家對 Qwen 3 的期待。

目前，大家對 Llama 4 的批評主要集中在以下三點：

1. 突然發(fā)布，沒有配套工具，哪怕是因為時間緊張，也還是太草率；

2. LM Arena“作弊”事件，最為嚴(yán)重，極大損害了公眾的信任；

3. 用戶更加追逐“推理模型”，Llama 4 在推理上介紹較少，整體顯得沒那么突出。

現(xiàn)在，是否可以真的說 Meta 4 已經(jīng)“折戟”了？

“作弊”事件引發(fā)信任危機
上周末，Meta 發(fā)布了兩個新的 Llama 4 模型：Scout （16 個專家，17B 激活參數(shù)）和 Maverick（128 個專家，17B 激活參數(shù)）。發(fā)布不久后，AI 社區(qū)就開始流傳一個傳聞：Meta 有意讓 Llama 4 更擅長跑分測試，并掩蓋其真實限制。

YouTube 博主的實測結(jié)果

“作弊”事件的主角是是 Maverick。Meta 宣稱，Maverick 能在“廣泛被引用的基準(zhǔn)測試中”擊敗 GPT-4o 和 Gemini 2.0 Flash。Maverick 很快就在 AI 基準(zhǔn)測試平臺 LMArena 上奪得了第二名的位置。

LMArena 是一個由用戶對比多個系統(tǒng)輸出并投票評選最佳結(jié)果的平臺。Meta 稱 Maverick 的 ELO 分?jǐn)?shù)為 1417，高于 OpenAI 的 4o，僅次于 Gemini 2.5 Pro。（ELO 分?jǐn)?shù)越高，表示模型在對戰(zhàn)中獲勝的頻率越高。）

這一成績讓 Meta 的開源模型 Llama 4 看上去有實力挑戰(zhàn) OpenAI、Anthropic 和 Google 等公司最先進的閉源模型。然而，多位 AI 研究人員在仔細查閱文檔后發(fā)現(xiàn)了一些不尋常的地方。在文檔的細節(jié)部分，Meta 承認(rèn)：用于 LMArena 測試的 Maverick 并不是公開提供的版本。根據(jù) Meta 自身的資料顯示，他們在 LMArena 上部署的是一個“對話性能優(yōu)化”的實驗性聊天版本的 Maverick。

根據(jù)外媒 TechCrunch 的說法，LMArena 從來都不是評估 AI 模型性能最可靠的標(biāo)準(zhǔn)。但過去 AI 公司通常不會專門去定制或微調(diào)模型以在 LMArena 上獲得更高分，至少沒人承認(rèn)這么做過。

問題在于：如果你為一個基準(zhǔn)測試定制了模型，但并不公布這個定制版本，而是只發(fā)布一個“原味”版本（vanilla variant），這會讓開發(fā)者很難準(zhǔn)確預(yù)測這個模型在具體應(yīng)用場景中的真實表現(xiàn)。而且，這種做法也具有誤導(dǎo)性。

理想情況下，盡管現(xiàn)有基準(zhǔn)測試本身也有很多缺陷，但它們起碼應(yīng)該能提供一個關(guān)于單個模型在不同任務(wù)上的能力概覽。

事實上，已經(jīng)有研究人員指出，公開發(fā)布的 Maverick 模型和 LM Arena 上托管的那個版本行為差異非常明顯。LM Arena 的那個版本經(jīng)常使用大量表情符號，而且回答特別啰嗦。

LMArena 在 Llama 4 發(fā)布兩天后在 X 發(fā)文表示：“Meta 對我們政策的理解與我們對模型提供方的期望不一致。Meta 應(yīng)該更明確地說明 ‘Llama-4-Maverick-03-26-Experimental’ 是一個為迎合人類偏好而定制的模型。為此，我們正在更新排行榜政策，以加強對公平、可復(fù)現(xiàn)評測的承諾，避免未來再次出現(xiàn)類似混淆?！?/p>

雖然 Meta 的做法并未明確違反 LMArena 的規(guī)則，該平臺仍表達了對“操縱評測系統(tǒng)”的擔(dān)憂，并采取措施防止“過擬合”和“基準(zhǔn)測試泄漏”。

當(dāng)公司在排行榜上提交特別調(diào)優(yōu)的模型版本，而向公眾發(fā)布的是另一個版本時，像 LMArena 這樣的排行榜作為現(xiàn)實表現(xiàn)參考的意義就會被削弱。同時，公眾也會對公司后續(xù)大模型版本的測評結(jié)果保持懷疑。

Meta 發(fā)言人 Ashley Gabriel 回應(yīng)：“我們會嘗試各種定制版本。”她表示，“‘Llama-4-Maverick-03-26-Experimental’ 是我們試驗的一種聊天優(yōu)化版本，在 LMArena 上的表現(xiàn)也很不錯。我們現(xiàn)在已經(jīng)發(fā)布了開源版本，接下來將看看開發(fā)者如何根據(jù)自身需求定制 Llama 4?！?/p>

對此，Meta 生成式 AI 副總裁 Ahmad Al-Dahle 在 X 上發(fā)文否認(rèn)了這些質(zhì)疑：“我們也聽到了有關(guān)我們使用測試集進行訓(xùn)練的指控——這根本不是事實，我們絕不會這么做。我們最合理的理解是，大家看到的質(zhì)量差異是因為目前的實現(xiàn)版本仍需進一步穩(wěn)定?！?/p>

這次事件揭示出，Meta 渴望被視為 AI 領(lǐng)頭羊——即使這意味著需要用“打榜技巧”操作規(guī)則，但其確實面臨著研發(fā)困境。

“DeepSeek 效應(yīng)”的后續(xù)？
不少人注意到，Llama 4 的發(fā)布時間很奇怪——周六通常不是發(fā)布重大 AI 新聞的時間。有人在 Threads 上問為什么要在周末發(fā)布，Meta CEO 馬克·扎克伯格回應(yīng)說：“因為那時它準(zhǔn)備好了。”可見，選擇這個時間點發(fā)布是扎克伯格同意的。

Llama 是 Meta 最寄予厚望的一款模型，扎克伯格的目標(biāo)是將其作為全球的行業(yè)標(biāo)準(zhǔn)，并在今年實現(xiàn) 10 億的用戶數(shù)量。此前，有人猜測 Meta 可能會在 4 月 29 日首次舉辦的 LlamaCon AI 會議推出 Llama 最新模型。

專注于追蹤 AI 模型的 Simon Willison 表示：“這次發(fā)布總體上非常令人困惑。模型評分對我來說毫無價值，因為我甚至無法使用那個得分很高的模型版本。”

Meta 發(fā)布 Llama 4 的過程并不順利。根據(jù) The Information 的報道，由于模型未能達到內(nèi)部預(yù)期，Meta 多次推遲發(fā)布。內(nèi)部對這個版本預(yù)期尤其高，因為 DeepSeek 開源模型對其帶來了很大沖擊。

1 月底時有消息稱，Meta 的生成式 AI 團隊陷入了恐慌狀態(tài)?！耙磺惺加?DeepSeek V3，它讓 Llama 4 在基準(zhǔn)測試中落后?！薄肮こ處焸冋偪竦仄饰?DeepSeek，復(fù)制一切能復(fù)制的東西?！?/p>

這次發(fā)布中，Meta 特意提到“Maverick 是同類最佳的多模態(tài)模型，在編碼、推理、多語言、長上下文和圖像基準(zhǔn)測試中超越了 GPT-4o 和 Gemini 2.0 等同類模型，并且在編碼和推理方面可與規(guī)模大得多的 DeepSeek v3.1 相媲美?！?/p>

“總體來說，對 Llama 4 來說是有點失望，唯一的驚喜是 Scout 的 10M 上下文窗口，可以處理巨長文本和大視頻。但很可惜的是官方 Release Notes 沒提到支持中文?！庇芯W(wǎng)友說道。

但在第三方的長上下文測評中，Llama 4 表現(xiàn)并不好。對此，CoreViewHQ 聯(lián)合創(chuàng)始人兼 CTO Ivan Fioravant 表示，“Llama-4 不可能在 120k 上下文長度下會退化得這么嚴(yán)重。像 Meta 這樣的大型 AI 實驗室怎么可能在發(fā)布中宣稱支持 10M 上下文窗口，卻在實際使用中表現(xiàn)這么差？我真心希望是某些地方出了 bug 才導(dǎo)致這種情況?！?/p>

網(wǎng)友實測，Llama 4 被低估了嗎？
“dionysio211”認(rèn)為，在關(guān)于 Llama 4 的討論中，很多真正重要的內(nèi)容都被忽視了。最近發(fā)布的這些模型，其實在大模型設(shè)計方面帶來了許多新穎的突破，包括：多模態(tài)趨勢、新的推理與非推理邏輯設(shè)計、各種類型的 MoE（專家混合）結(jié)構(gòu)等。

這些創(chuàng)新讓普通用戶在“第一印象”上產(chǎn)生了偏差，導(dǎo)致他們誤以為模型退步了，而實際上模型正在快速進化。

以 Gemma 3 為例，它的多模態(tài)功能在上線時表現(xiàn)非常糟糕，直到現(xiàn)在在很多本地 LLM 平臺（如 LMStudio、Ollama、KoboldCPP 等）上都還沒有完全優(yōu)化好。這其實很容易理解。要在現(xiàn)有消費級硬件上擠出更多性能、同時盡快將模型推向公眾，涉及到大量變量——其中很重要的一點就是：依賴開源平臺去“預(yù)判”或“適配”模型發(fā)布后的變化。

“如果每個新模型都沿用同樣的架構(gòu)，那怎么會有創(chuàng)新呢？”dionysio211 表示，“現(xiàn)在還沒有任何主流平臺對音頻輸入做出統(tǒng)一標(biāo)準(zhǔn)，那面對即將推出的“omni 模型”又要怎么支持？我還沒看到有哪個平臺支持 Phi-4 的 omni 版本?！薄霸俦热?Qwen 2.5 VL 已經(jīng)發(fā)布很久了，可至今大部分本地推理平臺還不支持它?！?/p>

“從 Mixtral 開始，幾乎每一個有新架構(gòu)的模型在落地時都會遇到各種卡頓和問題。我們應(yīng)該習(xí)慣這種情況，而不是在模型還沒跑順的時候就輕下結(jié)論、否定模型本身的價值?！眃ionysio211 表示，這都是這個行業(yè)發(fā)展過程的一部分，我們要做的是等待平臺支持，而不是急著說模型研發(fā)團隊“不懂在干什么”。

在 dionysio211 看來，Llama 4 這種模型正是本地 LLM 的未來趨勢。它們通過構(gòu)建高性能的 MoE 架構(gòu)，繞過了“內(nèi)存?zhèn)鬏攷挕边@一大瓶頸，使得模型甚至能在 CPU 上運行，或者至少適配 AMD、Apple 等平臺。

如今信息密度已經(jīng)高到 3B 規(guī)模的模型就能完成一年前 24B 才能做到的事情，并且速度甚至比部分云端模型還快。“這是目前少數(shù)已知方式中能在本地實現(xiàn)每秒 20+ tokens 且性能接近 Sonnet 3.5、GPT-4 的方案，也可能促使硬件廠商未來在架構(gòu)上更注重內(nèi)存通道優(yōu)化，而不是試圖去比拼 VRAM?！?/p>

網(wǎng)友“randomfoo2 ”則在 vLLM 做了正式發(fā)布并驗證了推理精度之后自己做了評測，得到的結(jié)論是“還算可以?！苯Y(jié)果顯示，Scout（17A109B） 的水平大致可以和 Mistral Small 3.1（24B） 和 Gemma 3（27B） 相當(dāng)；Maverick（17A400B） 的表現(xiàn)大致相當(dāng)于 GPT-4o 的水平，略微落后于 DeepSeek-V3（37A671B），但激活參數(shù)量只有后者的一半。

“Llama 4 的架構(gòu)很復(fù)雜，有不少新特性，但如果你要用 40T token 來訓(xùn)練一個模型，總得經(jīng)過一系列 sanity check（合理性驗證）吧。所以，我認(rèn)為底模本身其實是沒問題的（除非是推理實現(xiàn)上還有 bug）?！眗andomfoo2 還提到，Llama 3 最初的 IT 版本其實也不怎么樣，直到 3.1 才真正打磨出色。

“我覺得 Llama 4 還是很有潛力的，但我會再等等，不著急去微調(diào)或深入研究，因為肯定還會有一堆 bug。說真的，我上周才剛在給 Phi 4 寫訓(xùn)練器時發(fā)現(xiàn)了新 bug?！眗andomfoo2 說道?！眗andomfoo2 說道。

網(wǎng)友“dionysio211”則一直在定期查看 vLLM 和 llama.cpp 的提交記錄，表示他們現(xiàn)在確實還在不斷修復(fù)和優(yōu)化中?！拔矣?LM Studio 的 Scout 版本試了一下，表現(xiàn)還不錯。我在 6800XT 和 7900XT 上用 Vulkan 和 ROCm 大概能跑到 10 tokens/s，社區(qū)版本和 Unsloth 的版本表現(xiàn)也差不多。我確實覺得 Scout 應(yīng)該排名高于 Mistral Small 和 Gemma 3 27B，希望后續(xù)發(fā)布能進一步打磨這些版本?！?/p>

當(dāng)?shù)貢r間 4 月 8 日，獨立分析人工智能模型和托管提供商 Artificial Analysis 復(fù)現(xiàn)了 Meta 聲稱的 MMLU Pro 和 GPQA Diamond 測試集得分，并聲稱，“我們依然認(rèn)為 Scout 和 Maverick 是非常優(yōu)秀的開源模型，對開放權(quán)重 AI 生態(tài)具有重要價值?！?/p>

這次所有測試均基于 Hugging Face 發(fā)布的 Llama 4 權(quán)重版本，覆蓋多個第三方云平臺。其評測結(jié)果并未使用提供給 LMArena 的實驗版 chat-tuned 模型（Llama-4-Maverick-03-26-Experimental）。做出的改變是接受了 Llama 4 所采用的回答格式 “The best answer is A” 作為有效答案。

AI 研究機構(gòu) Epoch 也表示親自評估了 Llama 4，結(jié)果顯示：在 GPQA Diamond 測試中，Maverick 和 Scout 的得分分別為 67% 和 52%，與 Meta 報告的 57% 和 69.8% 相近。在 MATH Level 5 測試中，Maverick 和 Scout 的得分分別為 73% 和 62%。結(jié)論是：Maverick 與領(lǐng)先的開放式或低成本型號相比具有競爭力，并且均優(yōu)于 Llama 3。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“大模型開源變天：Llama 4不敵DeepSeek英偉達”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！