哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“飛槳3.0發(fā)布：預(yù)訓(xùn)練代碼減80%，單機(jī)吞吐翻倍”，并學(xué)會本篇文章中所講的全部知識點。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

飛槳3.0發(fā)布：預(yù)訓(xùn)練代碼減80%，單機(jī)吞吐翻倍：

4 月 1 日，飛槳框架迎來重大更新，官方發(fā)布了飛槳框架 3.0 正式版。

據(jù)介紹，飛槳框架 3.0 版本不僅延續(xù)了飛槳框架 2.0 系列動靜統(tǒng)一、訓(xùn)推一體的特性，更在自動并行、神經(jīng)網(wǎng)絡(luò)編譯器、高階自動微分等方面取得突破。飛槳框架 3.0 具備以下五大新特性：

動靜統(tǒng)一自動并行：通過少量的張量切分標(biāo)記，即可自動完成分布式切分信息的推導(dǎo)，Llama 預(yù)訓(xùn)練場景減少 80% 的分布式相關(guān)代碼開發(fā)。
大模型訓(xùn)推一體：依托高擴(kuò)展性的中間表示（PIR）從模型壓縮、推理計算、服務(wù)部署、多硬件推理全方位深度優(yōu)化，支持文心 4.5、文心 X1 等多款主流大模型，DeepSeek-R1 滿血版單機(jī)部署吞吐提升一倍。
科學(xué)計算高階微分：通過高階自動微分和神經(jīng)網(wǎng)絡(luò)編譯器技術(shù)，微分方程求解速度比 PyTorch 快 115%。
神經(jīng)網(wǎng)絡(luò)編譯器：通過自動算子自動融合技術(shù)，無需手寫 CUDA 等底層代碼，部分算子執(zhí)行速度提升 4 倍，模型端到端訓(xùn)練速度提升 27.4%。
異構(gòu)多芯適配：通過對硬件接入模塊進(jìn)行抽象，降低異構(gòu)芯片與框架適配的復(fù)雜度，兼容硬件差異，初次跑通所需適配接口數(shù)比 PyTorch 減少 56%，代碼量減少 80%。
飛槳框架 3.0 旨在開為發(fā)者提供一個“動靜統(tǒng)一、訓(xùn)推一體、自動并行、自動優(yōu)化、廣泛硬件適配”的深度學(xué)習(xí)框架，像寫單機(jī)代碼一樣寫分布式代碼，無需感知復(fù)雜的通信和調(diào)度邏輯，即可實現(xiàn)大模型的開發(fā)；像寫數(shù)學(xué)公式一樣用 Python 語言寫神經(jīng)網(wǎng)絡(luò)，無需使用硬件開發(fā)語言編寫復(fù)雜的算子內(nèi)核代碼即可實現(xiàn)高效運行。目前 3.0 正式版本已面向開發(fā)者開放，并且兼容 2.0 版本的開發(fā)接口。

據(jù)悉，飛槳框架 3.0 在訓(xùn)練、推理等方面為文心大模型提供端到端優(yōu)化，訓(xùn)練方面重點提升訓(xùn)練吞吐、訓(xùn)練有效率和收斂效率，集群訓(xùn)練有效率超過 98%；推理部署方面通過注意力機(jī)制量化推理、通用投機(jī)解碼等技術(shù)提升推理吞吐和效率；全面支持文心 4.5、文心 X1 等大模型的技術(shù)創(chuàng)新和產(chǎn)業(yè)應(yīng)用。

飛槳 3.0 提供了深度學(xué)習(xí)相關(guān)的各種開發(fā)接口；表示層專注于計算圖的表達(dá)與轉(zhuǎn)換，通過高可擴(kuò)展中間表示 PIR，實現(xiàn)動轉(zhuǎn)靜、自動微分、自動并行、算子組合以及計算圖優(yōu)化等核心功能；調(diào)度層負(fù)責(zé)對代碼或計算圖進(jìn)行智能編排與高效調(diào)度，支持動態(tài)圖和靜態(tài)圖兩種不同的執(zhí)行模式；算子層由神經(jīng)網(wǎng)絡(luò)編譯器 CINN 和算子庫 PHI 共同構(gòu)成，涵蓋了張量定義、算子定義、算子自動融合和算子內(nèi)核實現(xiàn)等關(guān)鍵功能；適配層則用于實現(xiàn)與底層芯片適配，包括設(shè)備管理、算子適配、通信適配以及編譯接入等功能。

飛槳框架 3.0 架構(gòu)圖

飛槳框架 3.0 的此次發(fā)布主要針對當(dāng)前算法工程師和科研人員在使用現(xiàn)有深度學(xué)習(xí)框架進(jìn)行算法創(chuàng)新時面臨的諸多挑戰(zhàn)。

全面支持自動并行訓(xùn)練

傳統(tǒng)的單機(jī)單卡訓(xùn)練已無法滿足需求，分布式并行訓(xùn)練成為加速大模型迭代的關(guān)鍵。然而分布式訓(xùn)練需使用復(fù)雜的并行策略，包括數(shù)據(jù)并行、張量并行、參數(shù)分片并行、流水線并行、序列并行、專家并行等，如何實現(xiàn)多種并行策略的高效協(xié)同已成為關(guān)鍵瓶頸。

當(dāng)前，無論是動態(tài)圖還是靜態(tài)圖，市場上的并行訓(xùn)練框架普遍存在使用成本高的問題。開發(fā)者既要熟知模型結(jié)構(gòu)，還要深入了解并行策略和框架調(diào)度邏輯，使得大模型的開發(fā)和性能優(yōu)化門檻非常高，制約了大模型的開發(fā)和訓(xùn)練效率。為此，飛槳提出了動靜統(tǒng)一自動并行方案，具體工作流程如下圖所示：

動靜統(tǒng)一自動并行流程圖

據(jù)介紹，該技術(shù)通過原生動態(tài)圖的編程界面與自動并行能力，同時保障靈活性和易用性，大幅降低大模型并行訓(xùn)練的開發(fā)成本；同時利用框架動靜統(tǒng)一的優(yōu)勢，一鍵轉(zhuǎn)靜使用靜態(tài)優(yōu)化能力，提供極致的大模型并行訓(xùn)練性能。開發(fā)者僅需少量的張量切分標(biāo)記，框架便能自動推導(dǎo)出所有張量和算子的分布式切分狀態(tài)，并添加合適的通信算子，保證結(jié)果正確性。

飛槳自動并行功能允許用戶僅需借助少量 API 調(diào)用，即可將算法轉(zhuǎn)換為并行訓(xùn)練程序。以 Llama2 的預(yù)訓(xùn)練為例，傳統(tǒng)實現(xiàn)方式需要開發(fā)者精細(xì)調(diào)整通信策略，以確保正確高效執(zhí)行，而自動并行實現(xiàn)方式相比傳統(tǒng)方式減少 80% 的分布式核心代碼。

據(jù)悉，基于飛槳大模型開發(fā)套件（PaddleNLP、PaddleMIX），飛槳框架已全面驗證 Llama、QwenVL 等從大語言模型到多模態(tài)模型的預(yù)訓(xùn)練、精調(diào)階段的自動并行訓(xùn)練。此外，飛槳協(xié)同文心實現(xiàn)了精細(xì)化重計算、稀疏注意力計算優(yōu)化、靈活批次的流水線均衡優(yōu)化等，這些優(yōu)化技術(shù)在飛槳框架 3.0 中開源。

動靜統(tǒng)一自動并行訓(xùn)練速度對比

大模型訓(xùn)推一體

飛槳框架 3.0 繼續(xù)采用“動靜統(tǒng)一、訓(xùn)推一體”的設(shè)計理念，并在大模型場景下持續(xù)優(yōu)化。

在推理部署方面，相較于動態(tài)圖，靜態(tài)圖部署范圍更為廣泛，能夠通過整圖導(dǎo)出的方式，擺脫對 Python 源代碼和執(zhí)行環(huán)境的依賴，而且更適合進(jìn)行全局調(diào)優(yōu)，可通過手寫或者借助編譯器自動實現(xiàn)算子融合等方式來加速推理過程。

據(jù)悉，得益于動靜統(tǒng)一的架構(gòu)和接口設(shè)計，飛槳能夠完整支持動態(tài)圖和靜態(tài)圖這兩種不同的運行模式，并且具備出色的整圖導(dǎo)出能力。飛槳的動轉(zhuǎn)靜整圖導(dǎo)出成功率高達(dá) 95%，高于 PyTorch 62%。

“訓(xùn)推一體”意味著能夠在同一套框架下，盡可能復(fù)用訓(xùn)練和推理的代碼，特別是復(fù)用模型組網(wǎng)代碼。與業(yè)界當(dāng)前先使用 PyTorch 和 DeepSpeed 進(jìn)行訓(xùn)練，再采用 vLLM、SGLang、ONNXRuntime 等推理引擎進(jìn)行推理部署的方案相比，飛槳采用訓(xùn)練和推理使用同一套框架的方式可以避免不同框架之間可能出現(xiàn)的版本兼容性問題，以及因模型結(jié)構(gòu)變化、中間表示差異、算子實現(xiàn)差異等帶來的問題。

飛槳訓(xùn)推一體架構(gòu)設(shè)計

據(jù)悉，飛槳框架 3.0 支持了 DeepSeek V3/R1 滿血版及其系列蒸餾版模型的 FP8 推理，并且提供 INT8 量化功能，破除了 Hopper 架構(gòu)的限制。此外，還引入了 4 比特量化推理，使得用戶可以單機(jī)部署，降低成本的同時顯著提升系統(tǒng)吞吐一倍，提供了更為高效、經(jīng)濟(jì)的部署方案。

在性能優(yōu)化方面，飛槳對 MLA 算子進(jìn)行多級流水線編排、精細(xì)的寄存器及共享內(nèi)存分配優(yōu)化，性能相比 FlashMLA 最高可提升 23%。綜合 FP8 矩陣計算調(diào)優(yōu)及動態(tài)量化算子優(yōu)化等基于飛槳框架 3.0 的 DeepSeek R1 FP8 推理，單機(jī)每秒輸出 token 數(shù)超 1000；若采用 4 比特單機(jī)部署方案，每秒輸出 token 數(shù)可達(dá) 2000 以上，推理性能顯著領(lǐng)先其他開源方案。

此外，飛槳框架 3.0 還支持了 MTP 投機(jī)解碼，突破大批次推理加速，在解碼速度保持不變的情況下，吞吐提升 144%；吞吐接近的情況下，解碼速度提升 42%。針對長序列 Prefill 階段，通過注意力計算動態(tài)量化，首 token 推理速度提升 37%。

DeepSeek 模型單機(jī)推理速度對比（H800 上 256 并發(fā)不含 MTP 測試）

助力科學(xué)前沿探索

科學(xué)智能（AI for Science）為解決科學(xué)問題帶來新方法的同時，也需要深度學(xué)習(xí)框架能夠具備更加豐富的各類計算表達(dá)能力，如高階自動微分、傅里葉變換、復(fù)數(shù)運算、高階優(yōu)化器等，還要實現(xiàn)深度學(xué)習(xí)框架與傳統(tǒng)科學(xué)計算工具鏈的協(xié)同。

為此，飛槳框架 3.0 提出了基于組合算子的高階自動微分技術(shù)，如下圖所示。該技術(shù)的核心思想是將復(fù)雜算子（如 log_softmax）拆解為多個基礎(chǔ)算子的組合，然后對這些基礎(chǔ)算子進(jìn)行一階自動微分變換。重要的是，基礎(chǔ)算子經(jīng)過一階自動微分變換后，其所得的計算圖仍然由基礎(chǔ)算子構(gòu)成。通過反復(fù)應(yīng)用一階自動微分規(guī)則，可以輕松獲得高階自動微分的結(jié)果。

基于組合算子的高階自動微分技術(shù)

據(jù)悉，英偉達(dá) Modulus 的 41 個不同方程實驗顯示，飛槳的微分方程求解速度比 PyTorch 開啟編譯器優(yōu)化后的 2.6 版本平均快 115%。此外，飛槳還實現(xiàn)了傅里葉變換、復(fù)數(shù)運算、高階優(yōu)化器等功能，這些方法在航空航天、汽車船舶、氣象海洋、生命科學(xué)等多個領(lǐng)域都具有廣泛的應(yīng)用潛力。

在模型層面，團(tuán)隊研發(fā)了賽槳（PaddleScience）、螺旋槳（PaddleHelix）等系列開發(fā)套件，并對 DeepXDE、Modulus 等主流開源科學(xué)計算工具進(jìn)行了廣泛適配。

飛槳 AI for Science 全景圖

神經(jīng)網(wǎng)絡(luò)編譯器技術(shù)

眾多深度學(xué)習(xí)的應(yīng)用場景，如大模型訓(xùn)練、自動駕駛等，對模型的訓(xùn)練與推理速度均提出了極高的要求。

在模型結(jié)構(gòu)層面，模型結(jié)構(gòu)正日益呈現(xiàn)出多樣化的趨勢，從基礎(chǔ)的全連接網(wǎng)絡(luò)，到復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、Attention 網(wǎng)絡(luò)、狀態(tài)空間模型、圖神經(jīng)網(wǎng)絡(luò)等，每一種模型結(jié)構(gòu)都擁有其獨特的計算模式與優(yōu)化需求。

在硬件特性方面，算力的增長速度遠(yuǎn)遠(yuǎn)超過了訪存性能的提升，訪存性能的瓶頸限制了訪存密集型算子（如歸一化層、激活函數(shù)等）的執(zhí)行效率。特別是，當(dāng)前市場上硬件平臺種類繁多，需要投入大量的人力物力進(jìn)行針對性的優(yōu)化工作，這將嚴(yán)重拖慢算法創(chuàng)新和產(chǎn)業(yè)應(yīng)用的速度。

以 Llama 模型中經(jīng)常使用的 RMS Normalization（Root Mean Square Layer Normalization）為例，其計算公式相對簡單明了：

假設(shè)需要實現(xiàn) RMS Normalization 的計算，簡單方法是可以使用飛槳框架提供的張量運算開發(fā)接口，調(diào)用平方、求和、除法、開根號等操作來完成：

上述代碼開發(fā)簡單，但是由于存在大量的訪存操作導(dǎo)致性能很差，且顯存占比較多。為了突破訪存瓶頸，開發(fā)者可以選擇通過手寫 CUDA 代碼的方式實現(xiàn)一個融合的 FusedRMSNorm 算子，但是對于開發(fā)者要求更高、開發(fā)成本也更高，更重要的是這種方式極大降低了可維護(hù)性和靈活性。

為此，飛槳框架 3.0 研制了神經(jīng)網(wǎng)絡(luò)編譯器 CINN（Compiler Infrastructure for Neural Networks），相比于 PyTorch 2.0 的 Inductor 加 Triton 的兩階段編譯方案，CINN 支持直接從神經(jīng)網(wǎng)絡(luò)中間表述編譯生成 CUDA C 代碼，通過一階段的編譯方案，CINN 避免了兩階段編譯由于中間表示信息傳遞和表達(dá)能力限制所造成的信息損失，具備更通用的融合能力和更好的性能表現(xiàn)。主要特點如下：

以 Reduce 為核心的算子融合技術(shù)。摒棄傳統(tǒng)的粗粒度 pattern 匹配模式，支持維度軸自動變換對齊融合，在保證計算正確性的同時，具有更強(qiáng)的算子融合能力，帶來更大的性能優(yōu)化潛力。動靜態(tài)維度的高效后端 Kernel 調(diào)優(yōu)技術(shù)。算子全面支持 reduce、broadcast、transpose 等多種算子的不同組合方式，針對各類算子組合和數(shù)據(jù)類型，自適應(yīng)不同維度大小與不同硬件配置，進(jìn)行全場景高效調(diào)優(yōu)。通過自動向量化提高 BF16、FP16 等小數(shù)據(jù)類型的訪存效率。通過分析與分桶機(jī)制，實現(xiàn)動靜態(tài)運行時配置生成，根據(jù)運行時的硬件配置，在無需 profiling 的情況下生成高效的 kernel。動態(tài)維度的復(fù)雜表達(dá)式化簡技術(shù)。建立了分層化簡體系，Lower、Schedule、CodeGen 階段執(zhí)行不同等級化簡方法，解決傳統(tǒng)化簡方法中多場景疊加后化簡困難、化簡不徹底問題。實現(xiàn)了復(fù)雜表達(dá)式結(jié)構(gòu)化簡，抽取融合算子經(jīng)過編譯、調(diào)優(yōu)后的固定子結(jié)構(gòu)進(jìn)行專項化簡，且靈活支持自定義化簡方法。

神經(jīng)網(wǎng)絡(luò)編譯器 CINN 流程圖

以下為 A100 平臺上 RMSNorm 算子的性能測試結(jié)果：相較于采用 Python 開發(fā)接口組合實現(xiàn)的方式，經(jīng)過編譯優(yōu)化后的算子運行速度提升了 4 倍；即便與手動算子融合的方式相比，也實現(xiàn)了 14% 的性能提升，在靈活性與高性能之間尋找到了較為理想平衡點。飛獎團(tuán)隊在 PaddleX 開發(fā)套件里選取了超過 60 模型進(jìn)行實驗，使用 CINN 編譯器后超 60% 模型有顯著性能提升，平均提升達(dá) 27.4%。重點模型相比 PyTorch 開啟編譯優(yōu)化后的版本平均快 18.4%。

神經(jīng)網(wǎng)絡(luò)編譯器 CINN 訓(xùn)練速度對比

標(biāo)準(zhǔn)化統(tǒng)一硬件適配

在深度學(xué)習(xí)的創(chuàng)新探索與產(chǎn)業(yè)落地進(jìn)程中，單一芯片往往難以滿足復(fù)雜多變的業(yè)務(wù)需求，因此通常需要融合運用多種芯片來構(gòu)建解決方案。

飛槳框架 3.0 版本聚焦于硬件接口的抽象。飛槳將硬件接口細(xì)分為設(shè)備管理、計算執(zhí)行、分布式通信等多個類別，通過標(biāo)準(zhǔn)化的硬件接口成功屏蔽了不同芯片軟件棧開發(fā)接口之間的差異。通過合理的抽象，減少了適配所需的接口數(shù)量，以昇騰芯片適配為例，初步跑通所需適配接口數(shù)比 PyTorch 方案減少 56%，適配代碼量減少 80%。

多硬件統(tǒng)一適配方案

基于標(biāo)準(zhǔn)化適配接口的定義，飛槳實現(xiàn)了松耦合、可插拔的架構(gòu)，每類芯片僅需提供標(biāo)準(zhǔn)化適配接口的具體實現(xiàn)，便能融入飛槳后端?？紤]到不同芯片軟件棧成熟度的差異，飛槳提供涵蓋算子開發(fā)、算子映射、圖接入、編譯器接入等方式。針對大模型訓(xùn)練與推理需求，飛槳支持動靜統(tǒng)一編程范式、超大規(guī)模分布式訓(xùn)練技術(shù)等。據(jù)悉，基于前述技術(shù)，飛槳已經(jīng)適配 60 多個芯片系列。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“飛槳3.0發(fā)布：預(yù)訓(xùn)練代碼減80%，單機(jī)吞吐翻倍”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！