英偉達發(fā)布新芯片，開源Dynamo令R1 token激增40倍： 北京時間 3 月 19 日凌晨 1：00 大洋彼岸的美國加利福尼亞州圣何塞會議中心燈火通明，人聲鼎沸。全球科技界矚目的年……
哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“英偉達發(fā)布新芯片，開源Dynamo令R1 token激增40倍”，并學(xué)會本篇文章中所講的全部知識點。還是那句話“不必遠征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。
英偉達發(fā)布新芯片，開源Dynamo令R1 token激增40倍：
北京時間 3 月 19 日凌晨 1：00 大洋彼岸的美國加利福尼亞州圣何塞會議中心燈火通明，人聲鼎沸。全球科技界矚目的年度盛會——英偉達 GTC 2025 大會在這里盛大開幕。
作為全球人工智能和計算機圖形學(xué)領(lǐng)域的頂級峰會，GTC 大會一直被視為行業(yè)風(fēng)向標，每年都吸引著來自世界各地的科技巨頭、專家學(xué)者和開發(fā)者齊聚一堂，共同探討 AI 技術(shù)的未來發(fā)展方向。
活動一開始，英偉達首席執(zhí)行官黃仁勛率先出場強調(diào)了計算和軟件的重要性表示。老黃表示：世界正在進行一場過渡——計算方式迎來變革、軟件的未來需要資本投資。本次演講，也主要圍繞這兩方面進行。
首先，黃仁勛討論了 AI 如何發(fā)展?，F(xiàn)在我們處于生成式人工智能階段，但根據(jù)黃仁勛的圖表，我們正走向代理式人工智能時代，隨后是物理人工智能。這就是機器人發(fā)揮作用的地方。
黃仁勛提到，人工智能之所以變得更有用，是因為它“更聰明，可以推理”，而且它的使用范圍越來越廣。一方面，我們能夠進行的數(shù)據(jù)和人工訓(xùn)練是有限的，另一方面，訓(xùn)練和推理這些模型所需的計算量也大幅增加。
他表示：“人工智能的 Scaling Law 更具彈性，事實上是超加速的，”黃仁勛聲稱去年該行業(yè)對計算需求的理解存在錯誤。“由于代理 AI 和推理，我們目前所需的計算量是我們認為的 100 倍”。
為此，黃仁勛對數(shù)據(jù)中心業(yè)務(wù)相當(dāng)有信心，“我之前說過，我預(yù)計數(shù)據(jù)中心建設(shè)將達到 1 萬億美元。我相當(dāng)確定我們很快就會達到這個目標。”
黃仁勛還表示，我們也正在從使用主要由人類編寫的軟件轉(zhuǎn)向由 AI 模型驅(qū)動的軟件。“在未來，計算機會為軟件生成代碼片段……而不是僅僅作為文件的檢索器?！?/p>
為 CUDA 加速
“英偉達是一家軟件公司”的含金量還在上升。這次，黃仁勛在演講前半程將精力放在了軟件上。
“NVIDIA 一直使用通用計算機，以超慢的速度運行軟件為他人設(shè)計加速計算機”黃仁勛說道，“直到最近，我們才有針對 CUDA 優(yōu)化的軟件庫。”
CUDA 是 NVIDIA 于 2006 年推出的并行計算核心，為眾多應(yīng)用提供計算加速能力。NVIDIA 已構(gòu)建了 900 多個特定領(lǐng)域的 NVIDIA CUDA-X 庫和 AI 模型，現(xiàn)在，CUDA-X 將加速計算帶入了一系列新的工程學(xué)科，包括天文學(xué)、粒子物理學(xué)、量子物理學(xué)、汽車、航空航天和半導(dǎo)體設(shè)計。
其中，cuDSS 庫用于解決涉及稀疏矩陣的大型工程模擬問題，適用于設(shè)計優(yōu)化、電磁模擬工作流程等。cuDSS 使用 Grace GPU 內(nèi)存和高帶寬 NVLink-C2C 互連來分解和解決通常無法放入設(shè)備內(nèi)存的大型矩陣。
使用 Warp（一個基于 Python 的框架，用于加速數(shù)據(jù)生成和空間計算應(yīng)用），Autodesk 使用八個 GH200 節(jié)點可以進行最多 48 億個單元的模擬，這比使用八個 NVIDIA H100 節(jié)點進行的模擬大了超過 5 倍。
此外， CUDA-X 中還有用于 NumPy 的 cuPYNUMERIC、用于決策優(yōu)化的 cuOPT（NVIDIA 將對其進行開源）、用于量子計算研究 cuQuantum，以及用于天氣分析的 Earth-2 和用于醫(yī)學(xué)成像的 MONAI 等。
黃仁勛表示：“這只是實現(xiàn)加速計算的眾多庫中的一小部分?！彼羞@些庫都依賴 NVIDIA 的 CUDA 核心來完成工作，“如果沒有 CUDA 以及我們擁有如此龐大的使用基礎(chǔ)，這些庫不會對使用它們的開發(fā)人員有任何作用。”
黃仁勛指出，人工智能始于云端，因為云數(shù)據(jù)中心擁有支持人工智能的基礎(chǔ)設(shè)施。他認為，未來每家公司都會有兩個工廠：一個用于生產(chǎn)產(chǎn)品，另一個用于 AI 數(shù)學(xué)。
發(fā)布“AI 工廠的操作系統(tǒng)”Dynamo
Dynamo 的發(fā)布，把本場會議再次推向了一個小高潮。
Dynamo 是一款開源推理軟件，用于以最低的成本和最高的效率加速和擴展 AI 工廠中的 AI 推理模型。
在大量 GPU 中高效編排和協(xié)調(diào) AI 推理請求對于確保 AI 工廠以最低成本運行以最大化 token 收入至關(guān)重要。
隨著人工智能推理成為主流，每個人工智能模型都會生成數(shù)以萬計的 token，用于在每次提示時“思考”。提高推理性能并不斷降低推理成本可加速增長并增加服務(wù)提供商的收入機會。
英偉達 Dynamo 是 Triton 推理服務(wù)器的后繼產(chǎn)品，是一款新型 AI 推理服務(wù)軟件，旨在為部署推理 AI 模型的 AI 工廠最大限度地創(chuàng)造 token 收入。它協(xié)調(diào)和加速數(shù)千個 GPU 之間的推理通信，并使用分解服務(wù)將大型語言模型的處理和生成階段分離在不同 GPU 上。這允許每個階段根據(jù)其特定需求進行獨立優(yōu)化，并確保最大程度地利用 GPU 資源。
黃仁勛表示：“世界各地的行業(yè)都在訓(xùn)練 AI 模型以不同的方式思考和學(xué)習(xí)，隨著時間的推移，它們會變得更加復(fù)雜。為了實現(xiàn)自定義推理 AI 的未來，Dynamo 有助于大規(guī)模服務(wù)這些模型，從而推動整個 AI 工廠的成本節(jié)約和效率提高?！?/p>
使用相同數(shù)量的 GPU，Dynamo 使在當(dāng)今 NVIDIA Hopper 平臺上為 Llama 模型提供服務(wù)的 AI 工廠的性能和收入翻了一番。在 GB200 NVL72 機架的大型集群上運行 DeepSeek-R1 模型時，Dynamo 的智能推理優(yōu)化還將每個 GPU 生成的 token 數(shù)量提高了 40 倍以上。
為了實現(xiàn)這些推理性能改進，NVIDIA Dynamo 整合了可提高吞吐量和降低成本的功能。它可以根據(jù)不斷變化的請求量和類型動態(tài)添加、移除和重新分配 GPU，以及在大型集群中精確定位特定 GPU，以最大限度地減少響應(yīng)計算和路由查詢。它還可以將推理數(shù)據(jù)卸載到更便宜的內(nèi)存和存儲設(shè)備，并在需要時快速檢索它們，從而最大限度地降低推理成本。
Dynamo 完全開源，支持 PyTorch、SGLang、NVIDIA TensorRT-LLM 和 vLLM，使企業(yè)、初創(chuàng)公司和研究人員能夠開發(fā)和優(yōu)化跨分解推理服務(wù) AI 模型的方法。它將使用戶能夠加速 AI 推理的采用，包括 AWS、Cohere、CoreWeave、Dell、Fireworks、Google Cloud、Lambda、Meta、Microsoft Azure、Nebius、NetApp、OCI、Perplexity、Together AI 和 VAST。
Dynamo 將推理系統(tǒng)在內(nèi)存中保存的知識映射到可能數(shù)千個 GPU 上的先前請求（稱為 KV 緩存）。然后，它將新的推理請求路由到具有最佳知識匹配的 GPU，從而避免昂貴的重新計算并釋放 GPU 來響應(yīng)新的傳入請求。
推出 Blackwell Ultra 和 Vera Rubin 芯片
去年，Blackwell AI 芯片因復(fù)雜設(shè)計導(dǎo)致量產(chǎn)延遲，近期才開始大批量出貨。盡管如此，Blackwell 仍被寄予厚望，預(yù)計將成為英偉達明年 AI 業(yè)務(wù)的主要支柱。
黃仁勛表示，現(xiàn)在 Grace Blackwell 解決方案已全面投入生產(chǎn)。
而接下來，萬眾矚目的 Blackwell Ultra 終于登場了。
老黃在演講中提到：“NVIDIA Blackwell Ultra 增強了訓(xùn)練和測試時間擴展推理（在推理過程中應(yīng)用更多計算以提高準確性的藝術(shù)），使世界各地的組織能夠加速 AI 推理、代理 AI 和物理 AI 等應(yīng)用?！?/p>
Blackwell Ultra 以一年前推出的突破性 Blackwell 架構(gòu)為基礎(chǔ)，包括 NVIDIA GB300 NVL72 機架級解決方案和 NVIDIA HGX B300 NVL16 系統(tǒng)。
據(jù)悉，Blackwell Ultra 將推出兩個版本，其中一個配備兩個與 Nvidia Arm CPU 配對的芯片，稱為 GB300；另一個版本僅配備 GPU，稱為 B300。它還將推出帶有八個 GPU 的單個服務(wù)器刀片版本，以及一個包含 72 個 Blackwell 芯片的機架版本。
Blackwell Ultra NVL72 平臺將于 2025 年下半年上市。它的帶寬是原來的兩倍，內(nèi)存速度是原來的 1.5 倍。
黃仁勛表示：“人工智能已經(jīng)取得了巨大的飛躍——推理和代理人工智能需要更高數(shù)量的計算性能。我們?yōu)檫@一刻設(shè)計了 Blackwell Ultra——它是一個單一的多功能平臺，可以輕松高效地進行預(yù)訓(xùn)練、后訓(xùn)練和推理人工智能推理?！?/p>
黃仁勛表示，“在推理模型中，Blackwell 的性能是 Hopper 的 40 倍”。在展示中，傳統(tǒng)模型的代表是 Meta Llama 3.3，而推理模型是 DeepSeek 的 R1。
與 Hopper 一代相比，NVIDIA HGX B300 NVL16 在大型語言模型上的推理速度提高了 11 倍，計算能力提高了 7 倍，內(nèi)存增加了 4 倍，從而為 AI 推理等最復(fù)雜的工作負載提供了突破性的性能?！爸挥性谟ミ_，你才會被數(shù)學(xué)折磨?！秉S仁勛調(diào)侃道。
“無論如何，買得越多，省得越多?！笨吹贸鰜?，黃仁勛確實很想提高 Blackwell 銷量。
英偉達表示，四大云計算公司部署的 Blackwell 芯片數(shù)量是 Hopper 芯片的三倍。云提供商可以使用 Blackwell Ultra 為時間敏感型應(yīng)用程序提供高端 AI 服務(wù)，從而使其從新芯片中獲得的收入達到 2023 年推出的 Hopper 一代的 50 倍。
但值得注意的是，老黃在現(xiàn)場并未透露 Blackwell Ultra 比原版 Blackwell 有多好。
但據(jù)外媒消息，在與記者的一次事先簡報會上，英偉達曾透露，單個 Ultra 芯片將提供與 Blackwell 相同的 20 petaflops AI 性能，但現(xiàn)在擁有 288GB 的 HBM3e 內(nèi)存，而不是 192GB。同時，Blackwell Ultra DGX GB300“Superpod”集群將提供與 Blackwell 版本相同的 288 個 CPU、576 個 GPU 和 11.5 exaflops FP4 計算能力，但擁有 300TB 的內(nèi)存，而不是 240TB。
接著，黃仁勛發(fā)布了下一代 GPU 系列 Vera Rubin——以美國天文學(xué)家 Vera Rubin 名字命名。據(jù)悉，Vera Rubin 有兩個主要組件：一個稱為 Vera 的 CPU 和一個稱為 Rubin 的新 GPU 設(shè)計，具有 NVLink 144。該公司表示，Vera 是 Nvidia 的首款定制 CPU 設(shè)計，它基于名為 Olympus 的核心設(shè)計。
與 Vera 搭配使用時，Rubin 可以在進行推理時實現(xiàn)每秒 50 千萬億次浮點運算，比 Blackwell 每秒 20 千萬億次浮點運算的速度高出一倍多。Rubin 還可以支持高達 288 GB 的快速內(nèi)存，這是 AI 開發(fā)人員關(guān)注的核心規(guī)格之一。Rubin Ultra 將于 2027 年下半年推出。
英偉達還在對其所謂的 GPU 進行調(diào)整。英偉達表示，Rubin 實際上是兩個 GPU。
目前市場上的 Blackwell GPU 實際上是兩個獨立的芯片組裝在一起作為一個芯片工作。從 Rubin 開始，當(dāng)將兩個或多個芯片結(jié)合成一個單一芯片時，它會將這些芯片稱為獨立的 GPU。
在 2027 年下半年，英偉達計劃發(fā)布一款名為“Rubin Next”的芯片，將四個芯片結(jié)合成一個單一芯片，使 Rubin 的速度翻倍，并將其稱為四個 GPU。
黃仁勛展示了 Vera Rubin NVLink576 的外觀和參數(shù)，并宣稱 Rubin 的性能可達 Hopper 的 900 倍，而 Blackwell 是 Hopper 的 68 倍。
黃仁勛說：“在過去的兩到三年里，人工智能取得了重大突破和根本性進展，我們稱之為‘a(chǎn)gentic AI’，它可以推理如何回答或如何解決問題?！?/p>
之后，黃仁勛探討了英偉達進軍以太網(wǎng)領(lǐng)域的原因：基本上，英偉達能夠制造高性能以太網(wǎng)解決方案，幫助在超級計算機之間傳輸數(shù)據(jù)。黃仁勛發(fā)布了 NVIDIA Photonics，這似乎是該公司迄今為止最強大的 Spectrum-X 以太網(wǎng)產(chǎn)品。
在演示中，黃仁勛似乎被搞得一團糟，網(wǎng)友開玩笑道，“搞亂這些電纜的人很可能會被解雇?！?/p>
黃仁勛還表示，英偉達繼 Rubin 之后的下一代芯片將以物理學(xué)家 Richard Feynman 的名字命名。
之后，黃仁勛手里拿著一臺 20 千萬億次浮點計算機——DGX Station 登上演講臺并說道“這是人工智能時代的計算機?！?/p>
開源全球首個人形機器人基礎(chǔ)模型 GROOT N1
2 個小時后，本場發(fā)布會的另一個小高潮，是英偉達宣布開源全球首個人形機器人基礎(chǔ)模型 GROOT N1。據(jù)老黃稱，這是世界上第一個開源的、完全可定制的通用人形推理和技能基礎(chǔ)模型。
老黃宣稱：“機器人的時代已經(jīng)到來。我們清楚地知道，世界勞動力嚴重短缺——短缺 5000 萬人?！?所以我們對機器人的需求與日俱增。
GR00T N1 現(xiàn)已上市，是英偉達將預(yù)訓(xùn)練并發(fā)布給全球機器人開發(fā)人員的一系列完全可定制模型中的第一個。
黃仁勛表示：“通用機器人時代已經(jīng)到來。借助 NVIDIA Isaac GR00T N1 以及新的數(shù)據(jù)生成和機器人學(xué)習(xí)框架，世界各地的機器人開發(fā)人員將開拓 AI 時代的下一個前沿?！?/p>
Groot N1 是英偉達 Project Groot 的演進版本，該公司在去年的 GTC 大會上推出了該項目。Project Groot 面向工業(yè)用例，但 Groot N1 將重點擴大到各種不同外形的人形機器人。
GR00T N1 基礎(chǔ)模型采用雙系統(tǒng)架構(gòu)，靈感來自人類認知原理?！跋到y(tǒng) 1”是一種快速思考的行動模型，反映了人類的反應(yīng)或直覺。“系統(tǒng) 2”是一種慢速思考的模型，用于深思熟慮、有條不紊的決策。
在視覺語言模型的支持下，系統(tǒng) 2 可以推理其環(huán)境和收到的指令，從而規(guī)劃行動。然后，系統(tǒng) 1 將這些計劃轉(zhuǎn)化為精確、連續(xù)的機器人動作。系統(tǒng) 1 接受人類演示數(shù)據(jù)和 NVIDIA Omniverse 平臺生成的大量合成數(shù)據(jù)的訓(xùn)練。
GR00T N1 可以輕松實現(xiàn)常見任務(wù)（例如抓取、用一只或兩只手臂移動物體以及將物品從一只手臂轉(zhuǎn)移到另一只手臂），或者執(zhí)行需要長時間上下文和一般技能組合的多步驟任務(wù)。這些功能可應(yīng)用于物料搬運、包裝和檢查等用例。
開發(fā)人員和研究人員可以使用真實或合成數(shù)據(jù)對 GR00T N1 進行后期訓(xùn)練，以適應(yīng)特定的人形機器人或任務(wù)。
除了該模型，英偉達還發(fā)布了用于生成合成訓(xùn)練數(shù)據(jù)的模擬框架和藍圖。
此外，老黃還表示，英偉達正與 DeepMind 和 迪士尼研究中心合作開發(fā)新平臺 Newton，這是一個開源物理引擎，可讓機器人學(xué)習(xí)如何更精確地處理復(fù)雜任務(wù)。
Newton 基于 NVIDIA Warp 框架構(gòu)建，將針對機器人學(xué)習(xí)進行優(yōu)化，并與 Google DeepMind 的 MuJoCo 和 NVIDIA Isaac Lab 等模擬框架兼容。此外，三家公司還計劃讓 Newton 使用迪士尼的物理引擎。
“AI 將進入每個行業(yè)”
如今，AI 進入千行百業(yè)早已是事實。但是，當(dāng)全球范圍內(nèi)不同行業(yè)在平臺、需求以及其他方面存在如此多差異的時候，我們要如何將人工智能推廣到全球呢？
黃仁勛指出，背景信息和先驗知識可能是實現(xiàn)下一步突破的關(guān)鍵，尤其是在邊緣計算領(lǐng)域。
他轉(zhuǎn)向自動駕駛汽車（AV）——這通常是人工智能領(lǐng)域最大的領(lǐng)域之一。他指出，幾乎每家自動駕駛汽車公司都在使用英偉達的技術(shù)，從特斯拉到 Waymo，從軟件到硬件，都試圖推動該行業(yè)向前發(fā)展。
不過今天又有一位新合作伙伴——黃仁勛宣布英偉達將與通用汽車在 AI 領(lǐng)域展開合作。
黃仁勛宣稱：“自動駕駛汽車的時代已經(jīng)到來?！?/p>
為此，英偉達宣布推出 NVIDIA Halos，這是一種綜合安全系統(tǒng)，將 NVIDIA 的汽車硬件和軟件安全解決方案系列與其在 AV 安全領(lǐng)域的尖端 AI 研究結(jié)合在一起。
Halos 涵蓋芯片、軟件、工具和服務(wù)，幫助確保從云端到汽車的 AV 安全開發(fā)，重點是基于 AI 的端到端 AV 堆棧。
Halos 是一個涵蓋三個不同但互補的層面的整體安全系統(tǒng)。
在技術(shù)層面，它涵蓋平臺、算法和生態(tài)系統(tǒng)安全。在開發(fā)層面，它包括設(shè)計時、部署時和驗證時防護措施。在計算層面，它涵蓋從 AI 訓(xùn)練到部署的整個過程，使用三臺強大的計算機——用于 AI 訓(xùn)練的 NVIDIA DGX 、在 NVIDIA OVX 上運行的 NVIDIA
Omniverse 和 NVIDIA Cosmos 用于模擬，以及用于部署的 NVIDIA DRIVE AGX。作為 Halos 的入口點，NVIDIA AI 系統(tǒng)檢查實驗室可讓汽車制造商和開發(fā)商驗證其產(chǎn)品與英偉達技術(shù)的安全集成。
值得注意的是，大會接近結(jié)束時，英偉達股價下跌 3%，通用汽車下跌 1.5%。
嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“英偉達發(fā)布新芯片，開源Dynamo令R1 token激增40倍”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹記，精準提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！
微信掃一掃 
支付寶掃一掃 
