哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學習時間。今天，我們將一起深入AI的奇妙世界，探索“螞蟻用國產(chǎn)AI芯片成本降百萬，模型性能與DeepSeek2.5相當”，并學會本篇文章中所講的全部知識點。還是那句話“不必遠征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學有所成，學以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學習之旅吧。

螞蟻用國產(chǎn)AI芯片成本降百萬，模型性能與DeepSeek2.5相當：

近日，據(jù)外媒報道，中國金融科技巨頭螞蟻集團在人工智能領(lǐng)域取得了重大突破。有知情人士透露，螞蟻集團使用由阿里巴巴和華為制造的國產(chǎn)芯片，開發(fā)出了將人工智能訓練成本降低 20% 的方法。

據(jù)稱，螞蟻集團在訓練“專家混合”（Mixture of Experts，以下簡稱 MoE）模型時運用了多種優(yōu)化方法，在國產(chǎn)芯片的基礎(chǔ)上取得了與使用英偉達 H800 等芯片差不多的訓練效果：計算成本從 635 萬元人民幣 / 萬億 Token 降低至 508 萬元人民幣，但模型性能卻能與 Qwen2.5-72B-Instruct 和 DeepSeek-V2.5-1210-Chat 相媲美。

這一消息引發(fā)了廣泛關(guān)注，螞蟻所帶來的成果令海外的網(wǎng)友感到震驚。許多人紛紛發(fā)出感嘆：“中國變化太快”、“美國禁止向中國供應芯片，只會讓中國芯片制造業(yè)更快發(fā)展”、“這釋放出一個強有力的信號：人工智能領(lǐng)域的主導地位并非英偉達一家獨攬”。

而螞蟻的相關(guān)成果早在 3 月 11 日就已公開發(fā)表，螞蟻集團 Ling 團隊在其技術(shù)報告論文中，介紹了這一系列“不使用高級 GPU 來擴展模型性能”的創(chuàng)新策略。此外，螞蟻還指出了他們在過程中遇到的挑戰(zhàn)和教訓。“即使是硬件或模型結(jié)構(gòu)的微小改動，也可能引發(fā)問題，比如導致模型的錯誤率突然上升。”

具體做了哪些優(yōu)化？
隨著企業(yè)在人工智能領(lǐng)域投入大量資金，MoE 模型已成為一種熱門選擇。這種技術(shù)將任務劃分為較小的數(shù)據(jù)組，就像組建了一支專家團隊，每個成員專注于一項工作的某個部分，從而提高了工作效率。然而，雖然 DeepSeek、阿里 Qwen、MiniMax 等系列的 MoE 模型在特定任務中已展現(xiàn)出優(yōu)越性能，但這類模型的訓練通常依賴高性能計算資源，如英偉達 H100/H800 等先進 GPU，其高昂的成本讓許多小公司望而卻步，也限制了該技術(shù)的更廣泛應用。

在技術(shù)報告中，螞蟻首先就探討了訓練 MoE 模型所面臨的這些挑戰(zhàn)，重點是要克服此類系統(tǒng)中普遍存在的成本效率低下和資源限制問題。為此，他們提出了一系列系統(tǒng)優(yōu)化策略，以便在有限的資源和預算約束下實現(xiàn)高效的 LLM 訓練，平衡資源成本和模型性能，包括優(yōu)化模型架構(gòu)和訓練策略、改進訓練異常處理、提高模型評估效率和工具使用能力。

在優(yōu)化模型方面，他們從架構(gòu)、訓練框架和存儲三方面進行了優(yōu)化。

? 模型架構(gòu)優(yōu)化：基于對密集模型和 MoE 模型縮放規(guī)律的綜合分析，選擇與可用計算資源最匹配的架構(gòu)。

? 訓練框架優(yōu)化：針對異構(gòu)計算平臺，將多個訓練框架整合為一個統(tǒng)一的分布式深度學習框架，即開源項目 DLRover DLRover 。其開發(fā)了一種輕量級調(diào)試工具 XPUTimer，它有助于快速、經(jīng)濟高效地分析任務性能，同時減少了 90% 的內(nèi)存使用量。此外，還實施了一種與平臺無關(guān)的異步訓練策略 EDiT（彈性分布式訓練），它提高了訓練效率，訓練時間在各種配置下最多可縮短 66.1%。

? 存儲優(yōu)化：采用設(shè)備多租戶和用戶空間文件系統(tǒng)（FUSE）等技術(shù)，實現(xiàn)大規(guī)模訓練的高性能和多集群適應性。存儲和訓練流程的協(xié)同設(shè)計提高了 MoE 場景中的 I/O 效率，將時間開銷減少了 50%。

針對大規(guī)模訓練中的硬件錯誤和損耗異常，螞蟻開發(fā)了一套穩(wěn)健的異常處理機制，包括一套實時監(jiān)控整個訓練過程異常的多層次異常檢測系統(tǒng)和為減少異常情況對訓練進度影響而實施的一種自動恢復機制。

同時，為了優(yōu)化對跨集群模型訓練的監(jiān)測，他們嘗試改進了以下評估基準和框架：

? 綜合評估數(shù)據(jù)集：為減少模型初始表現(xiàn)不佳并提高穩(wěn)定性，構(gòu)建了一些特定領(lǐng)域的評估數(shù)據(jù)集，并優(yōu)化了相應的預測策略和提示模板。

? 高效評估系統(tǒng)：基于自主創(chuàng)新的離線推理框架（即 Flood），開發(fā)了一套可擴展的跨集群評估系統(tǒng)，其結(jié)果穩(wěn)定，平均偏差小于 0.5%。

? 自動分析系統(tǒng)：為了提供實時反饋以調(diào)整訓練策略，開發(fā)了一個自動系統(tǒng)，將評估結(jié)果與模型性能和數(shù)據(jù)集相關(guān)聯(lián)。

在提高大型模型的工具使用能力上，螞蟻重點關(guān)注高質(zhì)量數(shù)據(jù)合成和自適應工具學習兩個關(guān)鍵方面。

為了有效生成高質(zhì)量、可擴展和多樣化的工具使用數(shù)據(jù)，螞蟻團隊利用知識圖譜技術(shù)和廣義調(diào)用指令來提取多樣化和復雜的函數(shù)鏈，從而增強凌模型在各種實際場景中的適用性。團隊利用拒絕采樣和糾錯等學習策略開發(fā)了自省式多機器人交互對話，以增強模型的自適應工具使用能力。

據(jù)螞蟻介紹，他們開發(fā)并開源的 Ling 系列 MoE 模型，就是一個基于上述技術(shù)優(yōu)化成功平衡資源成本與模型性能的示例。

其中，Ling-Lite 包含 168 億個參數(shù)和 27.5 億個激活參數(shù)，Ling-Plus 則擁有 2900 億個參數(shù)和 288 億個激活參數(shù)。知情人士稱，該公司計劃利用其開發(fā)的大語言模型 Ling-Plus 和 Ling-Lite 的最新突破，為包括醫(yī)療保健和金融在內(nèi)的行業(yè)提供人工智能解決方案。

根據(jù)一系列綜合評估基準， 參數(shù)大小相似的情況下，在有限的資源和預算約束下訓練的 Ling-Lite 模型，英語理解能力與 Qwen2.5-7B-Instruct 相當，同時優(yōu)于 Llama3.1-8B-Instruct 和 Mistral-7B-v0.3-Instruct；在數(shù)學和代碼基準測試中，Ling-Lite 的性能與 Qwen2.57B 相當，優(yōu)于 Llama3.1-8B 和 Mistral-7B v0.3。

同樣的前提條件下，Ling-Plus 模型與 DeepSeek 等前沿開源模型性能不相上下。Ling-Plus 的英語理解能力與 DeepSeek-V2.5-Chat 和 Qwen2.5-72B-Instruct 相當，在 GPQA 數(shù)據(jù)集上的得分還高于 DeepSeekV2.5，在事實知識基準 SimpleQA 上與 DeepSeek-V2.5 的表現(xiàn)相似。在數(shù)學和中文的測試上，Ling-Plus 的總體性能與 Qwen2.5-72B 相近，較高于 DeepSeek-V2.5 和 Llama3.1-70B 的基準得分。代碼測試中，Ling-Plus 的得分與 Qwen2.5-72B 相當、整體略低于 DeepSeek-V2.5 。

不過，螞蟻強調(diào)，Ling-Plus 模型不如 DeepSeek V3。

此外，Ling-Plus 在五種不同的硬件配置對 9 萬億個 token 進行了預訓練，使用高性能硬件配置（設(shè)備 D）訓練 1 萬億個 token 估計需要花費約 635 萬人民幣；相比之下，使用較低規(guī)格的硬件系統(tǒng)可將成本降至約 508 萬人民幣，節(jié)省了近 20% 的成本。

痛苦教訓：微小差異都會改變訓練結(jié)果
LLM 訓練是一個具有挑戰(zhàn)性和資源密集型的過程，往往伴隨著各種技術(shù)困難。錯誤和異常情況很常見，有些問題相對容易解決，有些問題則需要花費大量時間和精力。

“在超大規(guī)模模型的訓練過程中，與硬件相關(guān)的因素和對網(wǎng)絡(luò)結(jié)構(gòu)看似微小的修改都會對模型的穩(wěn)定性和收斂性產(chǎn)生重大影響。”螞蟻團隊在報告中提到。具體來說，螞蟻在整個過程中遇到了損失發(fā)散、損失尖峰和專家負載不平衡等挑戰(zhàn)。

其中，保持均衡的專家利用率對于 MoE 模型的有效性至關(guān)重要。大范圍的損失峰值會導致突然的梯度激增，從而破壞路由平衡，嚴重破壞專家負載平衡。一旦專家失衡，問題就會升級，導致整個模型普遍不穩(wěn)定。通過將尖峰緩解技術(shù)與平衡損失和上述路由器 zloss 相結(jié)合，螞蟻才成功地實現(xiàn)了包含數(shù)千億個參數(shù)的 MoE 模型的穩(wěn)定訓練。這種方法帶來了穩(wěn)定的損失軌跡，沒有觀察到損失發(fā)散、大范圍損失尖峰或?qū)＜衣酚善胶庵袛嗟那闆r。

同時，LLM 在不同平臺間遷移訓練面臨多方面挑戰(zhàn)，這主要是因為基礎(chǔ)操作的實現(xiàn)方式和框架層面存在差異，可能會導致訓練結(jié)果不同，凸顯了嚴格的對齊策略的必要性。為推動 Ling 在多個平臺上的遷移，螞蟻開展了大量預備實驗，旨在確保跨平臺基本操作和通信算法的一致性，并考慮到數(shù)值計算中固有的微小精度誤差。在驗證這些基礎(chǔ)組件后，他們才進行大規(guī)模大語言模型的訓練。

然而，事實證明，僅驗證基本操作不足以實現(xiàn)無縫的跨平臺遷移。在后續(xù)訓練階段，他們又觀察到遷移后不同平臺之間的損失收斂情況存在顯著差異。為解決這一問題，其將對齊工作從基本操作擴展到框架本身。這個過程需要消除所有潛在的差異源；否則，就無法確定錯誤的根本原因。因此，他們實現(xiàn)了兩個平臺上包括矩陣乘法（matmul）和線性變換在內(nèi)的基本操作的完全對齊。

在框架層面，其處理了諸如注意力機制、多層感知器（MLPs）和路由組件等模塊在實現(xiàn)過程中的差異，以避免浮點運算導致的精度誤差，通過這些努力實現(xiàn)了跨平臺前向傳遞計算的完全對齊。此過程中，他們解決了張量并行（TP）變化和輔助損失計算引發(fā)的問題，并糾正了某些通信操作中的錯誤。在反向傳遞計算時，借助前向傳遞對齊過程中獲得的經(jīng)驗，他們能夠高效識別并糾正梯度傳播中的錯誤，尤其是路由組件中的錯誤。

雖然這些問題在單獨出現(xiàn)或單元測試時可能看似微不足道，但在整個訓練過程中，它們的累積效應會對大語言模型的收斂結(jié)果產(chǎn)生重大影響。即使是微小的差異，經(jīng)過多次迭代疊加，也可能導致最終損失收斂出現(xiàn)巨大偏差。

據(jù)一位知情人士稱，螞蟻集團現(xiàn)在雖仍在使用英偉達的產(chǎn)品進行人工智能開發(fā)，但在其最新模型的訓練中，目前主要依賴來自 AMD 以及國產(chǎn)廠商的替代芯片產(chǎn)品。

如果這些國產(chǎn)芯片流行起來，可能會影響英偉達目前作為受歡迎人工智能芯片生產(chǎn)商所享有的地位。盡管現(xiàn)在英偉達的芯片仍然非常搶手，性能也較為強勁，但一直存在嚴格的出口管制。今年早些時候，自 DeepSeek 展示了如何以遠低于 OpenAI 和谷歌母公司 Alphabet 數(shù)十億美元的投入訓練出高性能模型后，英偉達的股價就一度短暫下跌。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“螞蟻用國產(chǎn)AI芯片成本降百萬，模型性能與DeepSeek2.5相當”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹記，精準提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學習更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！