哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“計算的未來：英偉達(dá)王冠正搖搖欲墜”，并學(xué)會本篇文章中所講的全部知識點。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

計算的未來：英偉達(dá)王冠正搖搖欲墜：

大模型浪潮來襲后，2023 年英偉達(dá)數(shù)據(jù)中心的 GPU 出貨量總計約 376 萬臺，較之上一年的 264 萬臺增長 100 多萬臺，并成為歷史上規(guī)模增長最快的硬件公司。據(jù)估計，2025 年英偉達(dá)銷量將達(dá)到 650 萬至 700 萬塊 GPU。

目前情況來看，英偉達(dá)在 GPU 上的壟斷局面仍在持續(xù)，然而，其長期持久性（>6 年）的問題仍在被持續(xù)熱議。

當(dāng)前，以谷歌、微軟、亞馬遜和 Meta 為代表的海外巨頭正在積極整合 AI 需求，力爭成為 NPU 的主要消費(fèi)者，與此同時，他們也正在自研具有競爭力且高度可靠的芯片。

此外，計算需求的規(guī)模之大也觸及了資本支出、電力供應(yīng)和基礎(chǔ)設(shè)施建設(shè)的極限，這正在推動行業(yè)轉(zhuǎn)向分布式、垂直集成和協(xié)同優(yōu)化的系統(tǒng)（芯片、機(jī)架、網(wǎng)絡(luò)、冷卻、基礎(chǔ)設(shè)施軟件、電源），而英偉達(dá)對此準(zhǔn)備不足。

基于此，英偉達(dá)可能會失去有利地位，影響將波及 AI 堆棧的各個層面——從晶圓廠和半導(dǎo)體，到基礎(chǔ)設(shè)施、云端、模型開發(fā)者和應(yīng)用層。

1.巨頭加速芯片競爭

據(jù)英偉達(dá)方面介紹，2025 財年第四季度，其共交付了 110 億美元 Blackwell 芯片，Blackwell 主要賣給云巨頭，這部分收入占英偉達(dá)數(shù)據(jù)中心業(yè)務(wù)收入的半成左右。

不過，業(yè)內(nèi)判斷，云巨頭的份額將縮小，此外，由于過度購入并被迫虧損出售的小/短期GPU租賃廠商的利用率和投資回報率也均較低。

同時，由于規(guī)?；那把啬Ｐ统杀靖?、性能和泛化能力更佳，尤其是在有效的 RAG 和廣泛可用的微調(diào)機(jī)制之下，大多數(shù)使用特定數(shù)據(jù)訓(xùn)練專有模型的公司價值點尚不明確，這些長尾買家的需求并不穩(wěn)固。

此外，部分小型獨立云廠商如 Coreweave、Lambda、Crusoe、Runpod 等的未來不夠明晰，英偉達(dá)過往偉減少云巨頭帶來的沖擊給予他們資金和 GPU 支持，但其仍舊缺乏產(chǎn)品多樣性、基礎(chǔ)設(shè)施和人才能力。

相比之下，云巨頭的需求則增長迅速，外部開發(fā)者面臨著長期資源短缺，交付周期長達(dá)數(shù)月，而內(nèi)部需求也加劇了這一趨勢，50-70% 的總計算量用于前沿訓(xùn)練和重大成果（例如 Copilot、Gemini 和 Meta AI）的推理。

盡管各大云服務(wù)提供商每年的資本支出都超過 200 億美元，但所有主要云平臺都已滿負(fù)荷運(yùn)轉(zhuǎn)。憑借規(guī)模和基礎(chǔ)設(shè)施經(jīng)驗，云巨頭最有能力攤銷折舊和停機(jī)成本，同時提供他們也提供了很強(qiáng)的靈活性、安全性和可靠性，由此帶來高 AI 服務(wù)利潤率和客戶信任度。

當(dāng) GPU 支出數(shù)億時，英偉達(dá)在主導(dǎo)驅(qū)動并行 AI/ML 工作負(fù)載方面的平衡是可控的，如今，這種情況已不復(fù)存在。在一些超大規(guī)模數(shù)據(jù)中心，資本支出已超過毛利潤的 25%，GPU 占基礎(chǔ)設(shè)施支出的一半，并占數(shù)據(jù)中心 TCO 約 80%。此外，與軟件不同，推理是邊際成本結(jié)構(gòu)的核心。

隨著未來訓(xùn)練（50 億美元以上）支出受限，定制化和資本效率對于最大限度地擴(kuò)展計算能力、訓(xùn)練最佳模型和保持競爭力至關(guān)重要。

雖然替代英偉達(dá)并不容易，但巨頭們均在尋找機(jī)會點：

Meta 用 ASIC 取代了英偉達(dá)處理其一些最大的 DLRM 工作負(fù)載，谷歌也用同樣的方法處理了 YouTube 的關(guān)鍵視頻編碼工作負(fù)載。亞馬遜早在 2012 年就用 Nitro 取代了虛擬機(jī)管理程序，并用 Graviton 取代了大量英特爾 CPU。

云巨頭以及 Marvell、Broadcom、Astera、Arista 和 AIchip 等主要設(shè)計合作伙伴已經(jīng)投入了大量資金和工程人才，以削弱英偉達(dá)的壟斷。

定制計算市場和Marvell收入坡道的增長預(yù)測

以谷歌為例，自 2013 年以來，他們一直在內(nèi)部開發(fā) TPU，雖然開發(fā)周期長達(dá)數(shù)年，但在預(yù)算、人才和架構(gòu)都有限的情況下，TPU v1 從啟動到部署僅用了 15 個月。

并且歷屆 TPU 論文中與對應(yīng)的 GPU 相比都有性能和能耗上的優(yōu)勢。比如，TPU 第 4 代和英偉達(dá)的 A100 是同等制程的，在這一情況下，單看半導(dǎo)體利用率，TPU 的技術(shù)和架構(gòu)及設(shè)計方案會比 GPU 有 3-5 倍的性能提升。

現(xiàn)階段，也有許多頭部廠商在采用 TPU，如 Anthropic 使用 TPU v5e 進(jìn)行推理，蘋果則曾選擇在 TPU V4 和 V5p 的混合體上訓(xùn)練其 SOTA 3B 參數(shù)本地模型。

發(fā)展至第六代，TPU Trillium 已經(jīng)將能效和 HBM 容量提高一倍，峰值性能提高三倍以上。而谷歌也在迭代其軟件堆棧，由 TensorFlow 過渡到 JAX 用于處理編譯和低級部署優(yōu)化，TPU 和 JAX 的組合幾乎完全取代了谷歌內(nèi)部用于 AI 工作負(fù)載的英偉達(dá) GPU。

本月初，谷歌又發(fā)布了第七代 TPU“Ironwood”，作為谷歌首款面向 AI 推理時代的 TPU，單芯片峰值算力可達(dá)4614 TFLOPs。據(jù)介紹，Ironwood 可擴(kuò)展至 9216 片芯片集群，性能是第六代 TPU Trillium 的 2 倍，并且能效較之于第一款 Cloud TPU 高出近 30 倍。

此外，HBM 帶寬也有所提升，單顆 Ironwood 芯片的內(nèi)存帶寬達(dá) 7.2Tbps，是 Trillium 的4.5倍，Ironwood 芯片間互聯(lián)（ICI）帶寬則為 1.2Tbps，是 Trillium 的1.5倍。

除谷歌外，亞馬遜也正在加速芯片開發(fā)，自 2015 年收購 Annapurna Labs 后，他們推出了第二代 Inferentia 和新的 Trainium 芯片，預(yù)計到 2026 年，支出將達(dá)到 25 億美金。第一代運(yùn)行 Alexa 的后端，而第二代則專注于 LLM 價格和性能的優(yōu)化。Anthropic 也已選擇了亞馬遜作為主要算力供應(yīng)商，并與其一同研發(fā)下一代芯片。

微軟則推出了自研 AI 芯片 Maia 100 芯片和相關(guān)的 Cobalt 100 CPU。在軟件方面，微軟推出了兼容 Pytorch 的編譯器 Maia SDK，依靠 Open AI 的 Triton 框架來取代 CUDA。另外，還推出了一種新的數(shù)據(jù)格式（MX v1.0）以使跨提供商的量化標(biāo)準(zhǔn)化，這將使自研和第三方芯片無縫互操作，為開發(fā)者提供完整的可移植性。

Meta 也在布局 ASIC，早期，Meta 芯片主要為 Instagram 和 Reels 提供 DLRM，隨著第二代 MTIA 芯片發(fā)布和支持定制軟件堆棧，其已開始在 Facebook 和 Instagram 的新聞推送推薦系統(tǒng)中使用推理芯片。

Meta 還在合成數(shù)據(jù)生成方面擴(kuò)大芯片使用，此前，Llama 3.1 就使用了這些芯片進(jìn)行監(jiān)督微調(diào)和數(shù)據(jù)提煉，以預(yù)訓(xùn)練較小的模型。上月，據(jù)外媒報道，Meta 已經(jīng)在小規(guī)模部署測試其首款用于 AI 訓(xùn)練的自研芯片。

當(dāng)前，AI 的工作負(fù)載偏向于訓(xùn)練，即使在微軟，訓(xùn)練也約占算力需求的六成，理論上來講，由于訓(xùn)練受限于內(nèi)存且對空間限制較為敏感，會限制 ASIC 的可行性，但隨著重心由訓(xùn)練轉(zhuǎn)向推理，英偉達(dá)的壓力也正在增大。

業(yè)內(nèi)分析認(rèn)為，在許多情況下（尤其是對于中型模型），上一代 A100 的性價比都高于 H100，而 AMD 也正在成為更具競爭力的替代品，甚至從長遠(yuǎn)來看，尤其是對于小模型而言，基于 CPU 的推理或為最佳選擇。

2.分布式帶來的挑戰(zhàn)

當(dāng)然，也有人會反駁稱，就單芯片性能而言，英偉達(dá) B100 的性能相當(dāng)于 3 個 Trillium TPU，但有觀點認(rèn)為，單芯片性能并不重要：云巨頭能夠垂直整合并利用其規(guī)模和專業(yè)打造總體上更經(jīng)濟(jì)、性能更高的分布式系統(tǒng)，對于英偉達(dá)而言，這將會是難以競爭或適應(yīng)的結(jié)構(gòu)性趨勢。

隨著登納德縮放定律（Dennard scaling）的失效和 SRAM 邏輯尺寸的縮小，晶體管小型化的回報下降，新節(jié)點成本卻一路飆升，硬件增益（密度、性能和成本）將越來越多地來自系統(tǒng)技術(shù)的協(xié)同優(yōu)化，以及互聯(lián)、芯片、冷卻、電源、機(jī)架和數(shù)據(jù)中心的智能設(shè)計。

這在很大程度上得益于先進(jìn)的封裝技術(shù)（例如芯片、增加的封裝內(nèi) HBM）和更大的基板。而更大的增益則來自于數(shù)據(jù)中心運(yùn)營商、供應(yīng)商和系統(tǒng)集成商有意識地根據(jù)超大規(guī)模需求定制設(shè)計的努力。

以微軟的數(shù)據(jù)中心設(shè)計為例，他們規(guī)劃了自己的電信光纖網(wǎng)絡(luò)，并推出新的 ColorZ 可插拔光收發(fā)器 + DSP，以支持長距離（<80 公里）數(shù)據(jù)傳輸，通過連接數(shù)據(jù)中心有效提高峰值集群性能。 為了支持海量數(shù)據(jù)流，微軟計劃開發(fā)用于交換機(jī)和收發(fā)器的封裝內(nèi)、并最終實現(xiàn)芯片光學(xué)器件。目前搭載 Maia 芯片的機(jī)架擁有更高的垂直整合度，通過使用定制配電、高帶寬以太網(wǎng)協(xié)議和專用的機(jī)架內(nèi)“sidekicks”來實現(xiàn)閉環(huán)液體冷卻，且在提高芯片密度的同時，降低了互連要求和成本。 重要的是，這些服務(wù)器集成到現(xiàn)有的微軟數(shù)據(jù)中心基礎(chǔ)設(shè)施后，可以在現(xiàn)有空間內(nèi)實現(xiàn)動態(tài)功耗優(yōu)化、更輕松的管理以及更大的計算能力，這是擴(kuò)展訓(xùn)練運(yùn)行的必要條件。 谷歌所見略同，他們放棄了大型芯片，轉(zhuǎn)而采用體積更小、成本更低、且具有深度互連的 ASIC 集群。在機(jī)架層面，所有 TPU 都具有相同的配置，無需支持不同的環(huán)境。此外，它們在機(jī)架中集成的服務(wù)器主板也更少，這提高了機(jī)架密度，并進(jìn)一步降低了硬件部署的復(fù)雜性。 并且谷歌使用 ICI 而非 NVLink，這讓他們能通過無源銅纜，以非常低的成本連接 64 個 TPU 的切片。

與英偉達(dá)的不同之處還在于，谷歌在數(shù)據(jù)中心及其他方面均進(jìn)行了大量的定制化：TPU 設(shè)計為在 4096 個芯片的艙內(nèi)運(yùn)行，使用定制光學(xué)開關(guān)（Apollo）代替普通的電子分組交換機(jī)，與英偉達(dá)相比，大大降低了功耗和停機(jī)時間。

在整個數(shù)據(jù)中心中，TPU 采用環(huán)形網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)而非 CLOS 架構(gòu)，改善了延遲和局部性，并結(jié)合專有的云網(wǎng)絡(luò)硬件和軟件 (Jupiter）實現(xiàn)跨數(shù)據(jù)中心組織大規(guī)模 TPU 集群，繼而實現(xiàn)比競爭對手低近 30% 的性能/TCO（主要得益于芯片成本、停機(jī)時間和基礎(chǔ)設(shè)施支出的降低）。

更重要的是，結(jié)合更小的批量大小、數(shù)據(jù)驗證技巧和高級分區(qū)，這意味著谷歌可以在多個連接的數(shù)據(jù)中心訓(xùn)練像 Gemini Pro 1.5 這樣的前沿模型。這最大限度地降低了未來訓(xùn)練基礎(chǔ)設(shè)施的功耗和尺寸要求，并且在提高了硬件模塊化的同時，延長了舊芯片/設(shè)備的使用壽命。

基礎(chǔ)設(shè)施正在變得愈發(fā)分布式，以 Meta 為例，Llama 3 的訓(xùn)練就并非集中于單一數(shù)據(jù)中心。值得一提的是，由于需要去在包括 AWS、Oracle 等云上做訓(xùn)練，所以 Meta 也正在通過與 HammerSpace 合作將多云多數(shù)據(jù)中心的數(shù)據(jù)完全統(tǒng)一起來。

微軟也正在為 OpenAI 連接遍布全國的集群。當(dāng)前，海外巨頭都在積極探索實現(xiàn)真正的異步分布式訓(xùn)練。

分布式基礎(chǔ)設(shè)施是繼續(xù)擴(kuò)展和計算新 OOM 的唯一途徑。目前，算力仍舊是前沿模型發(fā)展的最大制約因素，而多數(shù)據(jù)中心訓(xùn)練允許使用規(guī)模較小、互聯(lián)互通的數(shù)據(jù)中心，這不僅降本而且提高了吞吐量。

同時，也加速了基礎(chǔ)設(shè)施的建設(shè)：小型數(shù)據(jù)中心更容易進(jìn)行設(shè)計、獲得土地使用權(quán)/許可證、環(huán)境影響評估 (EIA) 審批、供應(yīng)商/總承包商 (GC) 以及建設(shè)輸電和電壓變壓器；互聯(lián)集群則可以幫助克服電網(wǎng)滿負(fù)荷運(yùn)行的電力限制，單個數(shù)據(jù)中心很快就會達(dá)到規(guī)模極限（例如，10GW 集群約占美國電力的 1%）。

互聯(lián)園區(qū)和跨區(qū)域聯(lián)網(wǎng)集群能夠擺脫單一端點，當(dāng)前，海外還僅限于使用以太網(wǎng)（<40公里）區(qū)域內(nèi)的數(shù)據(jù)中心，但也正在計劃利用電信光纖，連接遠(yuǎn)至約 500 公里外的數(shù)據(jù)中心。 如微軟已開始深入研究，并已與 Lumen 等光纖網(wǎng)絡(luò)提供商斥資超過 100 億美元。雖然還需要幾年時間才能部署，但將提供 1-5Pbit 的帶寬和 <1 秒的權(quán)重交換，足以實現(xiàn)多區(qū)域訓(xùn)練。 這些區(qū)域分布式訓(xùn)練系統(tǒng)將持續(xù)擴(kuò)展并成為常態(tài)，從而實現(xiàn)更經(jīng)濟(jì)、更快速的基礎(chǔ)設(shè)施建設(shè)，同時推動單次運(yùn)行（x-xxGW）的峰值功率/計算能力。 不過，雖然分布式系統(tǒng)為非傳統(tǒng)但資金雄厚的參與者創(chuàng)造了一些機(jī)會，但基礎(chǔ)設(shè)施專業(yè)知識至關(guān)重要，巨頭必須不斷擴(kuò)展以訓(xùn)練出更優(yōu)秀的模型。長期來看，關(guān)鍵區(qū)別在于訓(xùn)練將在 x00MW-xGW 數(shù)據(jù)中心的“小型”聯(lián)網(wǎng)園區(qū)中進(jìn)行，而不是在 xxGW 級的單體數(shù)據(jù)中心中進(jìn)行。 基于前述趨勢，業(yè)內(nèi)分析認(rèn)為，英偉達(dá)將很難在性能或成本上競爭，其既無法與云深度集成，也無法定制硬件，除非他們發(fā)展出規(guī)模較小的客戶，英偉達(dá)本身并不適合服務(wù)于跨集群或百億億次級的情況。

舉例來看，英偉達(dá)的 Infiniband 網(wǎng)絡(luò)基礎(chǔ)設(shè)施并非旨在支持 10 萬以上的 GPU 集群，根據(jù)設(shè)計，每個 GPU 僅連接到單個 NIC（Network Interface Card，網(wǎng)絡(luò)接口卡），并且每個數(shù)據(jù)包都必須以相同的順序傳輸。

由于模型規(guī)模龐大且權(quán)重分布不均，單個 NIC、GPU 或光模塊故障就可能導(dǎo)致整臺服務(wù)器癱瘓，迫使數(shù)據(jù)重新傳輸，而隨著新機(jī)架的出現(xiàn)，節(jié)點規(guī)模也隨之增大，這種情況會更加嚴(yán)重，即使頻繁設(shè)置檢查點，也會將 MFU 拖累數(shù)個百分點。

此外，盡管英偉達(dá)正在推動向 800 Gbps 網(wǎng)絡(luò)的過渡，但他們面對數(shù)據(jù)通信領(lǐng)域由超大規(guī)模引領(lǐng)的大規(guī)模轉(zhuǎn)型表現(xiàn)出措手不及，未來會越來越多地使用可插拔 ZR 光模塊來支持連接數(shù)據(jù)中心所需的超高帶寬光纖連接，還將獲得新的 DSP 和支持電信硬件（放大器、多路復(fù)用器、轉(zhuǎn)發(fā)器等）。

這會破壞英偉達(dá)的網(wǎng)絡(luò)堆棧，并且使 Coherent、Lumentum、Inphi、Cisco 和 Nokia 等供應(yīng)商受益。

值得一提的是，英偉達(dá)還面臨著一個最緊迫的問題——容錯，在訓(xùn)練過程中處理多個故障點時，容錯能力是確保可靠性和高利用率的關(guān)鍵。規(guī)模較小的客戶依賴于開源框架，但對于規(guī)模非常大的集群，英偉達(dá)的網(wǎng)絡(luò)設(shè)計和硬件選擇并未提供內(nèi)置保護(hù)。

如今，許多巨頭依賴于內(nèi)部解決方案：谷歌的 Pathways 比其他解決方案在邊緣情況和故障類型方面表現(xiàn)更優(yōu)，同時能夠靈活處理同步和異步數(shù)據(jù)流。Pathways 還擅長檢測和修復(fù)幾乎無法察覺的、繞過 ECC 的 GPU 內(nèi)存問題，而英偉達(dá)的診斷工具 (DCGM) 可靠性要低得多。

英偉達(dá)也難以提供具有競爭力的分區(qū)和集群管理軟件，其 BaseCommand 系統(tǒng)（基于 Kubernetes 構(gòu)建）旨在實現(xiàn)跨平臺，并兼容異構(gòu)系統(tǒng)。

然而，其他廠商擁有更完善的專有集成解決方案，如谷歌的 Borg和微軟的 Singularity 能夠更好地處理規(guī)?；奶摂M機(jī)/容器管理、透明遷移以及 GPU 工作負(fù)載的調(diào)度/管理。谷歌甚至還通過 MegaScaler 在單個園區(qū)內(nèi)外的 TPU Pod 之間同步劃分工作負(fù)載。

較之英偉達(dá)，云巨頭在半導(dǎo)體、基礎(chǔ)設(shè)施和模型層面的垂直整合，能夠提升其系統(tǒng)級理解、可觀察性、協(xié)同優(yōu)化和故障分析能力。

當(dāng)前英偉達(dá)也已在通過 Blackwell 和 GB200 解決結(jié)構(gòu)性問題。在硬件層面，安裝了機(jī)架寬的銅纜連接背板，并采用液冷技術(shù)來提高密度、能效和總體擁有成本 (TCO)，并推出了基于以太網(wǎng)的數(shù)據(jù)中心級網(wǎng)絡(luò)解決方案 Spectrum-X。

在軟件方面，英偉達(dá)正在積極更新 DCGM 軟件，并推出專用的可靠性、可用性和可維護(hù)性 (RAS) 引擎，旨在通過傳感器級芯片數(shù)據(jù)預(yù)先向運(yùn)營商發(fā)出故障警報，從而幫助緩解持續(xù)存在的 NIC/Infiniband 故障。

然而，綜合來看，這還不夠。

如前文所述，幾乎所有關(guān)鍵基礎(chǔ)設(shè)施軟件的內(nèi)部都存在更好的版本，超大規(guī)模數(shù)據(jù)中心也早已實現(xiàn)了規(guī)?；痛怪闭?。

以冷卻為例，早在英偉達(dá)強(qiáng)制使用液冷前，谷歌于 2018 年就通過 TPU v3 部署強(qiáng)制使用液冷，谷歌的 TPU v3 部署每千瓦時用水量比微軟的英偉達(dá)數(shù)據(jù)中心少 2 倍，PUE（電源使用效率）為 1.1，而微軟的 PUE 則>1.4。這意味著英偉達(dá)在每個超大規(guī)模數(shù)據(jù)中心損失了 30% 的有效電力和 50% 的占地面積。

英偉達(dá)意識到了這一點，并通過布局 DGX Cloud、NGC 等努力提升價值鏈，也前瞻性收購了 Mellanox，但未來正朝著大型園區(qū)和云的方向發(fā)展，而英偉達(dá)卻主要在數(shù)據(jù)中心層面進(jìn)行優(yōu)化，其正面臨著前所未有的長期挑戰(zhàn)。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“計算的未來：英偉達(dá)王冠正搖搖欲墜”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！