隨著人工智能技術(shù)的飛速發(fā)展，圖文多模態(tài)大模型的需求正呈現(xiàn)出快速增長(zhǎng)的態(tài)勢(shì)。在 vivo，我們也在積極推動(dòng)這類模型的產(chǎn)品化落地。例如，我們推出的“小 V 圈搜”功能，能夠幫助家長(zhǎng)一鍵圈出題目，快速獲取解析，從而讓輔導(dǎo)作業(yè)變得更加輕松。

此外，我們的“藍(lán)心”AI 中文繪畫大模型，它更貼近東方審美，更符合國(guó)源語境，為用戶帶來獨(dú)特的 AIGC 會(huì)話體驗(yàn)。這些功能的背后，主要依賴于我們強(qiáng)大的圖文理解與生成模型。

然而，在千卡級(jí) GPU 上完成這類大模型的訓(xùn)練任務(wù)，其挑戰(zhàn)遠(yuǎn)不止算力，還涵蓋了數(shù)據(jù)預(yù)處理、模型結(jié)構(gòu)設(shè)計(jì)、分布式調(diào)度與通信等多方面的工程問題。今天，我將結(jié)合 vivo 在這些產(chǎn)品背后的真實(shí)訓(xùn)練工程經(jīng)驗(yàn)，從問題出發(fā)，分享我們是如何在千卡集上順利完成模型高效落地的。

多模態(tài)大模型的訓(xùn)練工程挑戰(zhàn)
多模態(tài)大模型的訓(xùn)練工程面臨著諸多核心挑戰(zhàn)。我們先從模型類型的演進(jìn)談起。傳統(tǒng)的單模態(tài)模型，如自然語言處理（NLP）模型僅處理文本，計(jì)算機(jī)視覺（CV）模型僅處理圖像，自動(dòng)語音識(shí)別（ASR）模型僅處理音頻，它們互不交集。

而多模態(tài)大模型則能夠同時(shí)處理文本、圖像、音頻甚至是視頻，將它們統(tǒng)一在一個(gè)模型架構(gòu)內(nèi)，通過下一個(gè) token 預(yù)測(cè)的方式實(shí)現(xiàn)跨模態(tài)的理解與生成。這標(biāo)志著從各自為政走向融合，是邁向更高效、更通用人工智能系統(tǒng)的重要一步。

再來看多模態(tài)模型結(jié)構(gòu)的兩種典型應(yīng)用場(chǎng)景。第一類是理解類模型，例如 LLaVA，它類似于一個(gè)圖像問答助手，處理結(jié)構(gòu)規(guī)整的圖文輸入，訓(xùn)練相對(duì)簡(jiǎn)單，計(jì)算開銷也較小。第二類是生成類模型，如 DiT，它需要根據(jù)文本生成高質(zhì)量的圖像。這類模型不僅計(jì)算量大，而且圖像分辨率各不相同，對(duì)顯存提出了更高的要求。

簡(jiǎn)單來說，理解類模型更側(cè)重于離散 token 的訓(xùn)練，訓(xùn)練穩(wěn)定性至關(guān)重要；生成類模型則更側(cè)重于連續(xù)的 latent，其訓(xùn)練復(fù)雜度和顯存壓力都更高。

在具體訓(xùn)練過程中，我們總結(jié)了四個(gè)核心挑戰(zhàn)。首先，是算力壓力大。由于模型體積較大，圖像分辨率存在差異，kernel 啟動(dòng)頻繁導(dǎo)致調(diào)度延遲加大，從而降低算力利用率。

其次，存儲(chǔ) I/O 與 CPU 預(yù)處理造成的加載延遲。數(shù)據(jù)量較大導(dǎo)致加載速度慢，IO 不均勻，樣本處理流程也較為復(fù)雜。第三，數(shù)據(jù)吞吐受限。多模態(tài)樣本結(jié)構(gòu)相對(duì)復(fù)雜，處理 pipeline 較長(zhǎng)，容易造成數(shù)據(jù)通道擁塞。

最后，通信并行調(diào)度較為困難。模型增大后需要進(jìn)行拆分，如 TP、PP、長(zhǎng)序列的 CP 等并行策略需要反復(fù)調(diào)優(yōu)，網(wǎng)絡(luò)拓?fù)渑c并行分區(qū)不匹配時(shí)，通信鏈路負(fù)載不均導(dǎo)致跨區(qū)域帶寬爭(zhēng)用。在這些挑戰(zhàn)中，我們也曾實(shí)際遇到過不少問題。

我們面臨的整個(gè)訓(xùn)練挑戰(zhàn)貫穿了整個(gè)訓(xùn)練鏈路。從最初的數(shù)據(jù)加載階段開始，樣本結(jié)構(gòu)復(fù)雜，解碼與預(yù)處理耗時(shí)較大。

在模型輸入階段，需要進(jìn)行圖文對(duì)齊，編碼過程也會(huì)消耗不少算力。接下來是并行訓(xùn)練階段，TP、PP、CP 等調(diào)度可能不合理，導(dǎo)致 GPU 利用率難以提升。分布式通信則決定了我們能否從百卡到千卡甚至萬卡實(shí)現(xiàn)線性加速比對(duì)。

最后是穩(wěn)定性問題，一旦中斷能否快速恢復(fù)，這也是一個(gè)很大的挑戰(zhàn)。這些看似細(xì)微的問題，在千卡級(jí)集群中會(huì)被放大，成為我們必須解決的關(guān)鍵弱鏈路。

Al Infra 四大優(yōu)化方向
我將圍繞前面提到的四大優(yōu)化方向，分享我們?cè)诼涞剡^程中的一些優(yōu)化實(shí)踐經(jīng)驗(yàn)。

數(shù)據(jù)處理優(yōu)化：讓數(shù)據(jù)流轉(zhuǎn)快起，GPU 不再空等
多模態(tài)訓(xùn)練很多時(shí)候不是卡在計(jì)算，而是“數(shù)據(jù)先斷流”。為此，我們從兩個(gè)階段進(jìn)行了優(yōu)化。在數(shù)據(jù)準(zhǔn)備與存儲(chǔ)階段，我們將圖文數(shù)據(jù)預(yù)處理成多個(gè) shard 小塊，每個(gè)進(jìn)程僅加載屬于自己的那部分?jǐn)?shù)據(jù)，這樣 IO 操作就會(huì)更加輕量。同時(shí)，我們將解碼、resize 等操作提前完成，在訓(xùn)練時(shí)，只需進(jìn)行拼接、映射或內(nèi)存直讀等操作，顯著提高了加載效率。

在訓(xùn)練階段的加載優(yōu)化方面，我們采用異步加載和緩存預(yù)取機(jī)制，確保每張卡都能即時(shí)獲取數(shù)據(jù)，保持?jǐn)?shù)據(jù)隊(duì)列的充足。

對(duì)于高頻樣本，我們進(jìn)行本地緩存，避免重復(fù)跨節(jié)點(diǎn)讀取。這些優(yōu)化手段讓 GPU 不再干等，從而提升了訓(xùn)練速度。

模型計(jì)算優(yōu)化：發(fā)揮每張卡的最大算力價(jià)值

圖像經(jīng)過 ViT 編碼，文本經(jīng)過 Tokenizer 編碼后與圖像特征融合，再通過 Transformer 層輸出結(jié)果或進(jìn)行理解、生成等操作。

在這個(gè)過程中，存在不少算力浪費(fèi)點(diǎn)，例如 Block 結(jié)構(gòu)不統(tǒng)一導(dǎo)致 kernel 啟動(dòng)頻率高，attention 計(jì)算利用率低，調(diào)度碎片化；跨模態(tài)融合模塊可能打斷計(jì)算流水線；輸入數(shù)據(jù)分布不均導(dǎo)致 batch 無法拉大，浪費(fèi)顯存等問題。針對(duì)這些問題，我們進(jìn)行了優(yōu)化。

例如，進(jìn)行算子融合，將多個(gè)小操作合并成一個(gè)復(fù)合操作，減少操作的啟動(dòng)次數(shù)；利用高效的 attention 計(jì)算，如 Flash attention 等，提升 FLOPs 利用率；采用了混合并行加 Interleaved 1f1b 操作，讓每張卡在運(yùn)行當(dāng)前階段（Stage）的計(jì)算任務(wù)的同時(shí)，并行準(zhǔn)備下一步的前向（Forward）或反向（Backward）計(jì)算，從而打通 pipeline，提升整體吞吐效率；還可以進(jìn)行激活重算、混合精度等操作，釋放顯存，進(jìn)一步拉大 batch size，使每張卡都能充分發(fā)揮性能。

分布式通信優(yōu)化：打通卡問瓶頸，讓模型不等通信

節(jié)點(diǎn)內(nèi)通信通常問題不大，但跨節(jié)點(diǎn)的 AllReduce 操作容易遇到帶寬瓶頸，導(dǎo)致 GPU 空等。多跳網(wǎng)絡(luò)路徑在 checkpoint 寫入 / 讀取時(shí)顯著增加延遲，拖慢整體訓(xùn)練。我們歸納出四類常見問題：跨節(jié)點(diǎn)帶寬受限、通信與計(jì)算不重疊、多流調(diào)度不均、拓?fù)渑c并行策略不匹配。

針對(duì)這些問題，我們采用了以下優(yōu)化：

? 拓?fù)涓兄{(diào)度：根據(jù)物理交換機(jī)層級(jí)和機(jī)架分布，最小化通信路徑長(zhǎng)度。
? 通信 – 計(jì)算重疊：在 CUDA Stream 上并行調(diào)度 AllReduce 與前向／反向計(jì)算。
? NCCL 多通道：?jiǎn)⒂枚嗑W(wǎng)絡(luò)接口或多 NVLink 通道并行傳輸，分散熱力學(xué)熱點(diǎn)。
? CPU 核綁定：將通信線程綁定至特定 NUMA 節(jié)點(diǎn)的 CPU 核心，減少遠(yuǎn)程訪問延遲并提升穩(wěn)定性。

只有通信順暢，整個(gè)訓(xùn)練才能順利進(jìn)行。

訓(xùn)練穩(wěn)定性建設(shè)：讓訓(xùn)練跑得久，跑得穩(wěn)

多模態(tài)訓(xùn)練周期長(zhǎng)、數(shù)據(jù)量大、集群規(guī)模大，出現(xiàn)中斷的概率顯著提高，且重啟代價(jià)高昂。我們圍繞以下三方面進(jìn)行系統(tǒng)性優(yōu)化：

降低中斷概率

? 分片數(shù)據(jù)廣播后進(jìn)行一致性校驗(yàn)，防止節(jié)點(diǎn)間數(shù)據(jù)不一致導(dǎo)致訓(xùn)練崩潰。
? 訓(xùn)練前運(yùn)行深度健康檢查，剔除潛在故障節(jié)點(diǎn)。
? 任務(wù)級(jí)重試機(jī)制，單卡或單節(jié)點(diǎn)失敗時(shí)自動(dòng)重跑，提升容錯(cuò)能力。

縮短恢復(fù)時(shí)間

? 啟用 checkpoint 緩存機(jī)制，將寫入／讀取先緩存至本地高速介質(zhì)，避開網(wǎng)絡(luò) I/O 瓶頸。
? 從緩存中快速加載最近 checkpoint，確保訓(xùn)練恢復(fù)秒級(jí)啟動(dòng)。

減少重復(fù)訓(xùn)練損耗

? 采用增量 checkpoint，在關(guān)鍵訓(xùn)練步驟或時(shí)間間隔內(nèi)保存狀態(tài)。
? 結(jié)合并行寫入與本地緩存，平衡 I/O 開銷與恢復(fù)速度。

以上優(yōu)化結(jié)合了 NVMe 加速寫入、異步緩存讀取和分布式任務(wù)重試等業(yè)界最佳實(shí)踐，實(shí)現(xiàn)了多模態(tài)大規(guī)模訓(xùn)練的長(zhǎng)跑與穩(wěn)跑目標(biāo)。

訓(xùn)練工程案例：LLavA & DiT
接下來，我將通過一些具體的案例，深入探討圖文理解模型 LLaVA 和文本生成圖像模型 DiT 的優(yōu)化實(shí)踐。這兩種模型類型不同，痛點(diǎn)各異，優(yōu)化路徑也各有側(cè)重。通過具體案例的拆解，大家能夠更直觀地看到它們?cè)诠こ虒?shí)踐上面臨的挑戰(zhàn)。

LLavA 訓(xùn)練工程實(shí)踐
我們對(duì) LLaVA 和 DiT 的模型結(jié)構(gòu)進(jìn)行了整體對(duì)比。LLaVA 的模型結(jié)構(gòu)是從 ViT 抽取圖像特征，經(jīng)過投影對(duì)齊到文本空間，最后通過大語言模型進(jìn)行問答輸出。而 DiT 的生成模型則是圖像由 VAE encoder 得到 latent，文本由 CLIP/text Transformer encoder 得到 embedding，再逐步還原出最終的圖像。

盡管一個(gè)是理解模型，另一個(gè)是生成模型，但在訓(xùn)練落地時(shí)，它們都面臨著四大共性挑戰(zhàn)：多模態(tài)數(shù)據(jù)對(duì)齊難，I/O 壓力大；模型結(jié)構(gòu)復(fù)雜，融合難度高；通信開銷大，容易產(chǎn)生阻塞；訓(xùn)練容易中斷，容錯(cuò)要求高。因此，我們從數(shù)據(jù)處理、模型計(jì)算、通信效率提升以及穩(wěn)定性優(yōu)化等方面入手，為它們提供保障。

在大規(guī)模模型訓(xùn)練中，數(shù)據(jù)加載往往是第一個(gè)瓶頸。如果加載速度慢，GPU 可能會(huì)空閑，導(dǎo)致算力浪費(fèi)；而加載進(jìn)程過多，又容易占用過多內(nèi)存，引發(fā)系統(tǒng)內(nèi)存溢出等問題。

我們通過監(jiān)控 GPU 端數(shù)據(jù)接收的耗時(shí)來發(fā)現(xiàn)問題，一般來說，耗時(shí)在毫秒級(jí)是正常的，如果耗時(shí)上升，就可能意味著讀取數(shù)據(jù)出現(xiàn)了問題。數(shù)據(jù)供應(yīng)不足會(huì)導(dǎo)致整個(gè)訓(xùn)練鏈路變慢。

為此，我們從四個(gè)方面對(duì)鏈路系統(tǒng)進(jìn)行了優(yōu)化：一是優(yōu)化任務(wù)下發(fā)，使其更輕量，主進(jìn)程統(tǒng)一生成列表，并發(fā)地給多個(gè)子進(jìn)程加載，減少調(diào)度負(fù)擔(dān)；二是在子進(jìn)程中進(jìn)行解碼或 resize 操作，避免主進(jìn)程阻塞；三是啟用鎖頁內(nèi)存（Pin Memory），讓數(shù)據(jù)流轉(zhuǎn)更高效；四是在拉取數(shù)據(jù)時(shí)，利用本地緩存，避免頻繁跨節(jié)點(diǎn)讀取高頻數(shù)據(jù)，直接從本地緩存拉取。

此外，子進(jìn)程的數(shù)量和預(yù)取因子的設(shè)置也是我們?cè)趯?shí)踐中踩過坑的地方。這些參數(shù)并不是設(shè)置得越大越好，而是要結(jié)合 GPU 的吞吐能力和 IO 性能動(dòng)態(tài)優(yōu)化配置。

經(jīng)過優(yōu)化，數(shù)據(jù)加載耗時(shí)壓縮到了原來的 10% 左右，GPU 幾乎滿載，訓(xùn)練速度提升了 50%。這種多進(jìn)程、鎖頁內(nèi)存和本地緩存的組合優(yōu)化，成功打通了數(shù)據(jù)鏈路。

在模態(tài)融合下的算力利用率優(yōu)化方面，早期我們采用均勻流水線，但發(fā)現(xiàn)存在問題。

例如，Transformer 層有 32 層，如果 PP 設(shè)置為 8，每個(gè)階段會(huì)分配 4 層。在語言模型中可能沒有太大問題，但在多模態(tài)模型中，前面還有 ViT、project 等操作，這些也會(huì)放到第一個(gè)階段，而后面的 output 則放到最后一個(gè)階段。這就導(dǎo)致前后階段的算力和顯存占用特別滿，而中間階段可能比較空，使得整個(gè) GPU 卡的負(fù)載不均。

為此，我們引入非均勻流水線重構(gòu)，根據(jù)每層的參數(shù)量和顯存占用重新劃分，使資源分配更均勻。在讀取數(shù)據(jù)時(shí)，我們發(fā)現(xiàn)輸入的圖文對(duì)參差不齊，如果在一個(gè) batch 中有長(zhǎng)有短，最終都會(huì) padding 到最長(zhǎng)的圖文對(duì)上，導(dǎo)致無效計(jì)算。

為了解決這個(gè)問題，我們進(jìn)行了離線數(shù)據(jù)拼接，將相近的圖文對(duì)分類，使每個(gè) batch 的圖文對(duì)長(zhǎng)度相對(duì)均勻，從而提高算力利用率。我們還配套了流水線并行調(diào)度，降低流水線并行的空泡。

因?yàn)殚_啟流水線后，仍會(huì)存在一些空泡，導(dǎo)致 forward 或 backward 操作中出現(xiàn)延遲。我們通過調(diào)整 Micro Batch Size（微批次大小）和 PP 數(shù)，盡量讓 Micro Batch Size 大于 PP 數(shù)，以減少空泡。

此外，我們還進(jìn)行了算子融合，將多步操作壓縮成一步，進(jìn)一步提高效率。通過這一套優(yōu)化，我們將 MFU 從 34% 提升到了 45%，在千卡級(jí)上的表現(xiàn)還算不錯(cuò)。

在通信層面的優(yōu)化中，分布式通信是決定我們能否在千卡級(jí)甚至更大規(guī)模上實(shí)現(xiàn)線性擴(kuò)展的關(guān)鍵環(huán)節(jié)。

我們?cè)谖锢砑?jí)別上進(jìn)行了一些優(yōu)化。首先，我們的網(wǎng)絡(luò)結(jié)構(gòu)可以支持萬卡，采用三層胖樹結(jié)構(gòu)，并進(jìn)行了導(dǎo)軌級(jí)優(yōu)化。這樣做的核心是讓跨節(jié)點(diǎn)通信更高效，不同 Pod 的同號(hào) GPU 都連接到接入交換機(jī)，AllReduce 操作只需一跳即可完成，無需經(jīng)過匯聚或核心交換機(jī)。

實(shí)測(cè)結(jié)果顯示，這種優(yōu)化使 Pool 內(nèi)的吞吐量提升了 150%。此外，我們還利用了 RDMA 通信加速，由于我們使用的是 IB（InfiniBand）網(wǎng)絡(luò)，通信傳輸無需經(jīng)過 CPU，直接從網(wǎng)口到 GPU，這也有很大的提升。在并行策略的調(diào)度優(yōu)化方面，我們盡量避免 TP 跨節(jié)點(diǎn)，因?yàn)?TP 的通信量很大，所以 TP 的切分盡量在一臺(tái)節(jié)點(diǎn)內(nèi)完成。

同時(shí)，PP 也盡量避免跨節(jié)點(diǎn)通信，以避免通信擁塞。在軟件層面，我們進(jìn)行了通信計(jì)算重疊優(yōu)化，進(jìn)一步提升了效率。通過這些優(yōu)化，通信空等時(shí)長(zhǎng)下降了 40%，訓(xùn)練速度提升了 20%。

在 LLaVA 訓(xùn)練穩(wěn)定性方面，我們也進(jìn)行了一些實(shí)踐。在訓(xùn)練過程中，如果數(shù)據(jù)量較大，尤其是預(yù)訓(xùn)練數(shù)據(jù)清洗不夠干凈，難免會(huì)遇到一些異常數(shù)據(jù)。

此外，由于數(shù)據(jù)存儲(chǔ)可能在遠(yuǎn)端，拉取數(shù)據(jù)時(shí)也可能出現(xiàn)拉不到的情況。為此，我們?cè)O(shè)計(jì)了異常數(shù)據(jù)跳過機(jī)制。當(dāng)檢測(cè)到異常數(shù)據(jù)或處理數(shù)據(jù)出現(xiàn)異常時(shí)，子進(jìn)程會(huì)將異常上報(bào)給主進(jìn)程進(jìn)行判斷。

如果異常閾值沒有超過設(shè)定值，我們就跳過該數(shù)據(jù)，繼續(xù)獲取下一條數(shù)據(jù)。這樣可以避免重復(fù)訓(xùn)練，使訓(xùn)練過程更加穩(wěn)定。由于我們支持異常數(shù)據(jù)跳過，可能會(huì)出現(xiàn)一個(gè)問題，即在進(jìn)行流水線拆分時(shí)，某張卡跳過了數(shù)據(jù)，而其他卡沒有跳過，導(dǎo)致切片之間的數(shù)據(jù)不一致。

針對(duì)這個(gè)問題，我們?cè)?TP 廣播的基礎(chǔ)上增加了 PP 廣播。在啟動(dòng)時(shí)，主節(jié)點(diǎn)獲取數(shù)據(jù)并廣播到其他卡，從而避免了訓(xùn)練過程中的崩潰。此外，我們還進(jìn)行了一些任務(wù)級(jí)的異常檢測(cè)，以便在出現(xiàn)異常后及時(shí)發(fā)現(xiàn)集群是否 down 掉，并能自動(dòng)拉起集群，從最近的 checkpoint 恢復(fù)訓(xùn)練，提升訓(xùn)練穩(wěn)定性。

通過實(shí)際落地這一套優(yōu)化，我們的千卡訓(xùn)練能夠穩(wěn)定運(yùn)行 139 小時(shí)以上，相當(dāng)于 5 天多，無需人工值守，支持異常自動(dòng)恢復(fù)和任務(wù)續(xù)跑。

DiT 訓(xùn)練工程實(shí)踐

在 DiT 圖像生成任務(wù)中，為了提升生成圖像的多樣性，在預(yù)訓(xùn)練階段需要使用大量不同分辨率的圖像。這樣雖然增強(qiáng)了模型的泛化能力，但也帶來了訓(xùn)練工程上的一大挑戰(zhàn)：圖像尺寸高度不一致，導(dǎo)致每個(gè) batch 中圖像維度不同，不能直接拼接。

常規(guī)的做法是統(tǒng)一 padding，也就是把所有圖像補(bǔ)齊到最大尺寸再訓(xùn)練。但問題在于，大量 padding token 實(shí)際上不含有效信息，卻要耗費(fèi)完整的顯存和計(jì)算資源，導(dǎo)致訓(xùn)練效率明顯下降。

為了解決這個(gè)問題，我們采取了兩步式的數(shù)據(jù)端優(yōu)化方案：

第一步是圖像分桶：

我們將訓(xùn)練集中的圖像按寬高比或分辨率進(jìn)行劃分，分成若干個(gè) Bucket，每個(gè) Bucket 內(nèi)圖像尺寸相近。這樣在組成 batch 時(shí)，padding 大大減少，有效計(jì)算比提升顯著。

第二步是動(dòng)態(tài) Batch Size：

由于不同 Bucket 的圖像大小不同，對(duì)顯存的占用也不同。我們根據(jù)每個(gè) Bucket 的平均圖像尺寸動(dòng)態(tài)分配 Batch Size——小圖用大 Batch，大圖用小 Batch，在顯存范圍內(nèi)盡可能提高吞吐。

通過這套“圖像分桶 + 動(dòng)態(tài) Batch Size”的組合策略，我們將 DiT 的整體訓(xùn)練時(shí)長(zhǎng)縮短了近一半，訓(xùn)練效率提升接近一倍，是圖像生成任務(wù)中提升性價(jià)比的核心工程優(yōu)化。

在模型計(jì)算優(yōu)化方面，我們發(fā)現(xiàn)要深入提升訓(xùn)練性能，就需要進(jìn)行算子級(jí)別的優(yōu)化。我們進(jìn)行了算子融合，例如將三步操作合成一步，減少了 kernel 的啟動(dòng)次數(shù)和顯存算力的利用，使 batch 可以更大。

此外，我們還進(jìn)行了編譯優(yōu)化，讓計(jì)算更高效。激活重算在圖像領(lǐng)域，尤其是文生圖領(lǐng)域應(yīng)用較多，因?yàn)榉直媛屎蛶瑪?shù)較多時(shí)，顯存壓力很大。激活重算即在前向時(shí)不存激活值，反向計(jì)算時(shí)重新計(jì)算，從而節(jié)省顯存，使 Batch 可以更大。通過這些優(yōu)化，顯存減半，支持更高的 Batch，訓(xùn)練速度提升了 60%。

在通信優(yōu)化方面，我們主要使用 FSDP 框架。FSDP 的 AllGather 通信原本需要等反向做完再統(tǒng)一進(jìn)行梯度更新。我們進(jìn)行了兩個(gè)優(yōu)化：一是將 AllGather 拆成多個(gè)小段按層觸發(fā)；二是啟用獨(dú)立的 CUDA 流，讓反向傳播與梯度并行進(jìn)行。

優(yōu)化后，AllReduce 或 AllGather 與反向傳播交叉進(jìn)行。我們還進(jìn)一步發(fā)現(xiàn)，盡管進(jìn)行了分桶和動(dòng)態(tài) batch size 優(yōu)化，但仍有卡間像素計(jì)算量的差異。

于是，我們進(jìn)行了徹底對(duì)齊 GPU 負(fù)載的優(yōu)化，通過 Package Shuffle 操作，將一個(gè)大 batch 的圖像打包成一個(gè) package，使單個(gè) batch 從 package 中獲取相同的像素量，且這個(gè)像素量是 GPU 的最大算力。

最終，完全對(duì)齊了算力，充分利用了 GPU 的算力。優(yōu)化后，通信等待時(shí)長(zhǎng)降低了 98%，訓(xùn)練更流暢，卡間的像素對(duì)齊進(jìn)一步提速了 10%。

在訓(xùn)練穩(wěn)定性方面，我們?cè)龅揭粋€(gè)案例，原本 7 天可完成的任務(wù)，因中斷問題最終耗時(shí) 15 天，算力利用率很低。

為此，我們進(jìn)行了優(yōu)化：一是異步 checkpoint 保存，不占用主進(jìn)程，節(jié)省時(shí)間；二是利用分布式緩存，降低 IO，提高速度；三是觸發(fā)式保存，當(dāng)檢測(cè)到異常時(shí)觸發(fā)保存，減少重復(fù)訓(xùn)練時(shí)間。

落地后，快照保存時(shí)間提升了 88%，故障恢復(fù)時(shí)間下降了 90%，實(shí)現(xiàn)了分鐘級(jí)恢復(fù)。

在 LLaVA 和 DiT 模型的訓(xùn)練工程實(shí)踐中，我們通過一系列的優(yōu)化措施，實(shí)現(xiàn)了顯著的性能提升。以下是我們實(shí)踐的總結(jié)。

數(shù)據(jù)處理優(yōu)化

優(yōu)化措施：

? 對(duì)于 LLaVA 模型，我們采用了多進(jìn)程數(shù)據(jù)加載架構(gòu)，支持海量數(shù)據(jù)訓(xùn)練，減少了 IO 等待時(shí)間。
? 對(duì)于 DiT 模型，我們實(shí)施了圖像分桶和動(dòng)態(tài) Batch Size 策略，最大化了單卡負(fù)載。

落地成效：

? LLaVA 模型的 GPU 滿載率提升，訓(xùn)練速度加快了 50%。
? DiT 模型的訓(xùn)練時(shí)長(zhǎng)減少，效率翻倍。

模型計(jì)算優(yōu)化

優(yōu)化措施：

? 對(duì) LLaVA 模型，我們進(jìn)行了流水線并行與離線拼接優(yōu)化，釋放了存儲(chǔ)瓶頸，提高了計(jì)算密度。
? 對(duì) DiT 模型，我們?nèi)诤狭怂阕印⒓せ钪厮?，提升了大模型?xùn)練效率。

落地成效：

? LLaVA 模型的算力利用率（MFU）從 34% 提升至 45%。
? DiT 模型的顯存使用減少 50%，訓(xùn)練吞吐提升約 60%。

分布式通信優(yōu)化

優(yōu)化措施：

? 對(duì) LLaVA 模型，我們引入了 RDMA 加速、TP/PP 優(yōu)化、AllReduce 融合壓縮通信等技術(shù)。
? 對(duì) DiT 模型，我們采用了 FSDP 獨(dú)立通信流優(yōu)化，GPU 負(fù)載對(duì)齊，提升了訓(xùn)練同步效率。

落地成效：

? LLaVA 模型的通信延時(shí)降低，訓(xùn)練加速 20%。
? DiT 模型通信與計(jì)算 overlap 實(shí)現(xiàn)率超 98%，訓(xùn)練流程更流暢。

訓(xùn)練穩(wěn)定性建設(shè)

優(yōu)化措施：

? 對(duì) LLaVA 模型，我們實(shí)施了流水線數(shù)據(jù)擴(kuò)播，異常檢測(cè)與故障自動(dòng)恢復(fù)。
? 對(duì) DiT 模型，我們采取了異步保存、分布式緩存和觸發(fā)保護(hù)，縮短了恢復(fù)時(shí)間。

落地成效：

? LLaVA 模型無需人工值守，支持 139+ 小時(shí)千卡穩(wěn)定訓(xùn)練。
? DiT 模型故障恢復(fù)耗時(shí)降低 90%，續(xù)訓(xùn)恢復(fù)至數(shù)分鐘。

Al Infra 未來展望
在探討人工智能基礎(chǔ)設(shè)施（AI Infra）的未來時(shí)，我認(rèn)為我們需要從三個(gè)維度進(jìn)行展望：數(shù)據(jù)、算法和算力。

首先，在數(shù)據(jù)維度上，我們正從海量數(shù)據(jù)向高質(zhì)量數(shù)據(jù)轉(zhuǎn)變。數(shù)據(jù)并非越多越好，關(guān)鍵在于質(zhì)量。為此，我們將引入自動(dòng)化的數(shù)據(jù)清洗機(jī)制，以提高樣本的準(zhǔn)確性，同時(shí)保護(hù)用戶隱私，例如應(yīng)用差分隱私技術(shù)。在多模態(tài)數(shù)據(jù)方面，我們將加強(qiáng)模態(tài)增強(qiáng)和合成，通過智能方式生成更多有用的樣本，以支持訓(xùn)練效率的提升。

其次，在算法維度上，我們正在從規(guī)模擴(kuò)展向智能優(yōu)化轉(zhuǎn)變。在模型結(jié)構(gòu)上，我們將探索更高效的結(jié)構(gòu)，如混合專家模型（MoE）和微分流水線并行等。在訓(xùn)練范式上，我們強(qiáng)調(diào)自監(jiān)督學(xué)習(xí)和小樣本學(xué)習(xí)，以減少對(duì)人工標(biāo)注的依賴，提高模型的泛化能力。

最后，在算力維度上，我們正從擴(kuò)展性向高效性轉(zhuǎn)變。通過統(tǒng)一調(diào)度和定制加速芯片，我們可以實(shí)現(xiàn)資源的最大化利用。此外，我們還將注重可持續(xù)發(fā)展。

我們的落地路徑是圍繞這三個(gè)方向重構(gòu)一個(gè)真正的平臺(tái)化 AI 基礎(chǔ)設(shè)施。從數(shù)據(jù)準(zhǔn)備到算法選擇，再到分布式訓(xùn)練，以及評(píng)估優(yōu)化，整個(gè)鏈路將實(shí)現(xiàn)高度自動(dòng)化，形成一個(gè)閉環(huán)。這樣，多模態(tài)大模型的訓(xùn)練將進(jìn)入一個(gè)更大規(guī)模、更強(qiáng)泛化能力以及更低成本的新階段。

我的核心認(rèn)知是，訓(xùn)練工程必須穩(wěn)定，模型才能走得更遠(yuǎn)。只有底層鏈路暢通，保證算力資源長(zhǎng)時(shí)間穩(wěn)定運(yùn)行，模型才能順利完成迭代。其次，訓(xùn)練鏈路必須徹底打通，才能實(shí)現(xiàn)真正的多模態(tài)閉環(huán)。

從數(shù)據(jù)到通信，從模型到調(diào)度，只有每個(gè)環(huán)節(jié)都高效協(xié)同，整個(gè)系統(tǒng)才能高效運(yùn)轉(zhuǎn)。最后，算法的突破不能僅僅依靠工程來補(bǔ)短板，而是需要工程來推動(dòng)。即使模型再先進(jìn)，如果缺乏穩(wěn)定、高效的工程支撐，也很難真正落地。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“千卡GPU集群訓(xùn)練秘籍！vivo AI多模態(tài)大模型實(shí)戰(zhàn)首曝”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對(duì)AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請(qǐng)關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！