哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來(lái)到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“萬(wàn)字總結(jié)：DeepSeek如何加速AI Infra變革”，并學(xué)會(huì)本篇文章中所講的全部知識(shí)點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說(shuō)，現(xiàn)在就讓我們開(kāi)始這場(chǎng)激發(fā)潛能的AI學(xué)習(xí)之旅吧。

萬(wàn)字總結(jié)：DeepSeek如何加速AI Infra變革：

DeepSeek 在進(jìn)一步點(diǎn)燃 AI Infra 可能性的同時(shí)，也帶來(lái)了新的競(jìng)爭(zhēng)格局，在 DeepSeek 的范式上，其他廠商能否追趕甚至實(shí)現(xiàn)超越尤為關(guān)鍵，這決定了他們能否繼續(xù)留在牌桌上，當(dāng)前，AI Infra 已然進(jìn)入新的洗牌期。

2025 年 3 月 22 日，雷峰網(wǎng)、AI 科技評(píng)論 GAIR Live 品牌舉辦了一場(chǎng)主題為“AI Infra 變革進(jìn)行時(shí)”的線上圓桌沙龍。

圓桌主持人為 3C AGI Partners 創(chuàng)始人兼 CEO 王康曼，她一直專(zhuān)注于投資 AI Infra 賽道，其創(chuàng)立基金成立后僅一年多就已經(jīng)成為英偉達(dá)全球 VC 聯(lián)盟成員，也投資了海外發(fā)展勢(shì)頭最猛的兩家 AI 芯片創(chuàng)業(yè)公司 Cerebras Systems 和 Groq。

同時(shí)，圓桌還邀請(qǐng)了魔形智能創(chuàng)始人CEO徐凌杰、探微芯聯(lián) CEO 劉學(xué)和清程極智聯(lián)合創(chuàng)始人師天麾共同開(kāi)啟了一場(chǎng)深度對(duì)話。

交談過(guò)程中，嘉賓們圍繞成本進(jìn)一步壓縮下，MaaS、一體機(jī)等 AI Infra 商業(yè)模式的前景、DeepSeek 為國(guó)產(chǎn)芯片帶來(lái)的啟示、構(gòu)建開(kāi)源生態(tài)對(duì)于 Infra 的重要意義等多個(gè)方面發(fā)表了獨(dú)到見(jiàn)解。

當(dāng)前，國(guó)內(nèi) AI Infra 初創(chuàng)的商業(yè)模式無(wú)非云上和線下兩種，而 DeepSeek 之后有關(guān)云上 MaaS 能否盈利的討論甚囂塵上。

對(duì)此，師天麾表示，“這塊的盈利空間要看算力規(guī)模、優(yōu)化程度、客戶(hù)付費(fèi)能力等多個(gè)因素，算力成本也會(huì)隨著更優(yōu)的硬件架構(gòu)和更好的硬件工藝進(jìn)一步降低，模型價(jià)格未來(lái)也會(huì)持續(xù)變化，現(xiàn)在沒(méi)法一概而論能否盈利?！?/p>

線下私有化部署方面受到 DeepSeek 的影響，客戶(hù)需求也逐日走高，不過(guò)雖然 DeepSeek 確實(shí)提升了大眾對(duì)于 AI 的認(rèn)知，但許多企業(yè)還是會(huì)擔(dān)憂對(duì)實(shí)際業(yè)務(wù)是否有幫助。

針對(duì)于此，師天麾建議，“小企業(yè)沒(méi)有太多數(shù)據(jù)安全顧慮可以租機(jī)器，如果對(duì)數(shù)據(jù)安全要求比較高，也可以先花幾十萬(wàn)買(mǎi)個(gè)性能沒(méi)有那么強(qiáng)的機(jī)器，也不是非要跑 DeepSeek 滿血版，先試一試對(duì)企業(yè)業(yè)務(wù)場(chǎng)景有沒(méi)有幫助，有幫助再花錢(qián)買(mǎi)更好的機(jī)器，用更好的大模型更好地支撐業(yè)務(wù)。”

線下這塊給創(chuàng)業(yè)公司帶來(lái)的機(jī)會(huì)很多，比如相較于偏愛(ài)提供標(biāo)準(zhǔn)化產(chǎn)品的大廠而言，初創(chuàng)提供的服務(wù)更為深入和定制化，而從上到下較短的決策鏈也帶來(lái)了更加快速的適配跟進(jìn)速度……

而在國(guó)產(chǎn)芯片方面，大家一致認(rèn)為 DeepSeek 所帶來(lái)的機(jī)遇和提振作用多過(guò)挑戰(zhàn)。

不過(guò)，挑戰(zhàn)也是客觀存在的。徐凌杰提到，“不止兩三家企業(yè)在春節(jié)后定下了目標(biāo)做 352 卡、 384 卡大集群的部署。千卡集群分成兩部分，一個(gè)做 R1 的部署，另一個(gè)做 V3 的部署，這些都在他們的規(guī)劃中，但因?yàn)榇笠?guī)模分布式難度高，看起來(lái)還需要一段時(shí)間調(diào)試?！?/p>

除前述問(wèn)題外，DeepSeek 也使開(kāi)源的呼聲持續(xù)走高。近期，英偉達(dá)也開(kāi)源了其模塊化推理框架 Dynamo，用于在分布式環(huán)境中服務(wù) AI 模型，嘉賓們對(duì)此也各抒己見(jiàn)。值得一提的是，和 Dynamo 同時(shí)在 GTC 上引起關(guān)注的還有 Silicon Photonic。

有關(guān) CPO 的未來(lái)，劉學(xué)認(rèn)為英偉達(dá)對(duì)此起到了推動(dòng)作用，“現(xiàn)在大家統(tǒng)一認(rèn)為 26 年、27 年硅光會(huì)有小批量交付，28 年到 30 年是大規(guī)模落地的時(shí)間節(jié)點(diǎn)。”他還表示，“現(xiàn)在 CPO 很重要，而且工藝廠家越早布局越好，尤其是要全面思考從做光模塊轉(zhuǎn)到 CPO 和之前是否有差異?！?/p>

以下是此次圓桌討論的精彩分享，AI 科技評(píng)論進(jìn)行了不改原意的編輯整理：

1.DeepSeek 的影響初探
王康曼：我們討論的話題是 DeepSeek 之后 AI Infra 的變革，我是 3C AGI Partners的創(chuàng)始人兼 CEO 王康曼，我們基金在過(guò)去一年半里投了許多 AI Infra 相關(guān)的項(xiàng)目，今天也非常榮幸請(qǐng)到三位老師來(lái)共同探討，他們分別是魔形智能創(chuàng)始人徐凌杰、清程極智聯(lián)合創(chuàng)始人師天麾和探微芯聯(lián) CEO 劉學(xué)，請(qǐng)各位老師先介紹一下各自的背景。

徐凌杰：我在 AI 領(lǐng)域深耕多年，和 GPU 有著不解之緣，十多年前我就是第一批學(xué) CUDA 的學(xué)生，然后一直在 GPU 行業(yè)里從事芯片研發(fā)、管理等工作，在芯片公司和互聯(lián)網(wǎng)公司云計(jì)算平臺(tái)都干過(guò)，去年創(chuàng)立了魔形智能（Magik Compute）這家軟硬件結(jié)合的 AI 基礎(chǔ)設(shè)施公司。

我們看到的機(jī)會(huì)是在未來(lái)相當(dāng)一段時(shí)間里，因?yàn)槟柖傻南拗疲酒锬茏龅目臻g相對(duì)比較少了，隨著模型越來(lái)越大、上下文越來(lái)越長(zhǎng)，更多關(guān)于 AI Infra 的創(chuàng)新是在集群、數(shù)據(jù)中心層面，所以我們既會(huì)有自己的硬件集群設(shè)計(jì)，也會(huì)有能夠調(diào)出優(yōu)秀性能的軟件能力。

師天麾：清程極智是 2023 年底創(chuàng)立的 AI Infra 公司，我們主要聚焦于 AI 系統(tǒng)軟件部分，通過(guò)尋找軟硬件結(jié)合優(yōu)化來(lái)賦能?chē)?guó)產(chǎn) AI 的發(fā)展，從底層編譯器到上層并行計(jì)算，我們擁有全棧優(yōu)化經(jīng)驗(yàn)。然后我們的首席科學(xué)家，也是我的博導(dǎo)，是清華計(jì)算機(jī)系高性能計(jì)算研究所所長(zhǎng)翟季冬教授，我們?cè)谙到y(tǒng)和高性能計(jì)算領(lǐng)域有十幾年積累，從小規(guī)模到萬(wàn)卡、十萬(wàn)卡英偉達(dá)、國(guó)產(chǎn)顯卡的集群都有經(jīng)驗(yàn)。

劉學(xué)：我之前在產(chǎn)業(yè)界，后來(lái)在學(xué)校從事 AI Infra 相關(guān)研發(fā)，我負(fù)責(zé)過(guò)一個(gè)過(guò)億級(jí)的類(lèi)腦計(jì)算集群的國(guó)家級(jí)研發(fā)。這十年間我們團(tuán)隊(duì)做了個(gè)千卡類(lèi)腦集群，同時(shí)實(shí)現(xiàn)了 GPU 和 GPU 之間在通信領(lǐng)域先發(fā)優(yōu)勢(shì)的迭代。

現(xiàn)在主要解決國(guó)內(nèi)GPU廠商卡脖子技術(shù)，讓國(guó)內(nèi)的GPU廠商具備與英偉達(dá)競(jìng)爭(zhēng)的網(wǎng)絡(luò)通信、并行能力，研發(fā)的 ACCLink 和 ACCSwitch 類(lèi)似于英偉達(dá)的 NVLink 加 NVSwitch，是一個(gè)全自、多點(diǎn)、多 GPU 緩存和低延時(shí)的無(wú)損通信協(xié)議，加上自己的 Switch，再借助上層通信庫(kù)，能創(chuàng)建無(wú)縫、高帶寬、多節(jié)點(diǎn)集群，類(lèi)似英偉達(dá)多芯片、超節(jié)點(diǎn)的能力。

王康曼：DeepSeek 發(fā)布 R1 后對(duì)國(guó)內(nèi) AI Infra 行業(yè)帶來(lái)的沖擊挺大的，從技術(shù)路線、成本結(jié)構(gòu)和合作模式上看，對(duì)大家有什么具體影響嗎？

徐凌杰：去年 DeepSeek 就打響了 token 價(jià)格的第一槍?zhuān)瑥?V2、V3 到 R1 都給了我們很大啟示，他們這幾個(gè)模型在結(jié)構(gòu)上也有很大的延續(xù)性，對(duì) AI Infra 是有挺大沖擊的，之前都會(huì)說(shuō)美國(guó)的就是最好的，大家投資OpenAI，OpenAI 買(mǎi)微軟的云，微軟云買(mǎi) Nvidia 的 GPU，這是非常正向的循環(huán)。

DeepSeek 帶來(lái)了全面沖擊，從 Infra 角度最大的啟示在于，他們?cè)谟?xùn)練階段就想好了怎么實(shí)現(xiàn)低成本的推理，他們手上只有 2000 張卡的 H800 集群，之前也有一部分 A100 但沒(méi)有 NVLink 這種強(qiáng)互聯(lián)的 Scale up 集群的卡，基于手上有的算力資源他們做出了一套模型。

之前互聯(lián)網(wǎng)公司做搜索推薦時(shí)，往往會(huì)分兩個(gè)團(tuán)隊(duì)，算法團(tuán)隊(duì)負(fù)責(zé)提升召回率、準(zhǔn)確率和效果，工程團(tuán)隊(duì)則負(fù)責(zé)降本。DeepSeek 充分考慮了算法、工程及落地效應(yīng)，把整條鏈路打通了。這對(duì)于 AI Infra 公司人才培養(yǎng)提出了更高要求，現(xiàn)在算法工程師也要考慮到工程的落地，工程落地的人要考慮到在集群方面有什么樣的限制。

對(duì)于一個(gè)年輕人來(lái)說(shuō)，未來(lái)不能只是一個(gè)寫(xiě)算子的工程師，要了解集群互聯(lián)、文件系統(tǒng)，以及到底要做什么樣的分布式，是把所有 expert 放在一臺(tái)機(jī)器上，還是每個(gè) expert 分散放在每張卡上面達(dá)到最好的效果，側(cè)重于系統(tǒng)的吞吐和優(yōu)化每個(gè)用戶(hù) TPS 的體驗(yàn)優(yōu)化策略是不一樣的。

我認(rèn)為 DeepSeek 點(diǎn)燃了 AI Infra 的可能性，前幾天 GTC 上黃仁勛畫(huà)了個(gè)圖，橫軸是單個(gè)用戶(hù)的 TPS，縱軸是整個(gè)系統(tǒng)的吞吐，根據(jù)不同的要求能夠找到不同的體驗(yàn)點(diǎn)。這對(duì)于我們不同的業(yè)務(wù)來(lái)講也是一樣的，我們通過(guò)系統(tǒng)的組合、軟件的優(yōu)化有非常多的可能性，DeepSeek 已經(jīng)做出了一個(gè)范式，其他廠商能否跟上且達(dá)到他們的效果，大方向上來(lái)講既打開(kāi)了可能性，也打開(kāi)了競(jìng)爭(zhēng)格局，大家都在追隨甚至超越他們的范式，這是非常激動(dòng)人心的時(shí)刻。

師天麾：今年感覺(jué) DeepSeek 帶來(lái)最大的影響是讓大家明白了 AI 真的很強(qiáng)，企業(yè)內(nèi)部有機(jī)會(huì)用上，所以我們今年業(yè)務(wù)突然多了，企業(yè)要用上的話，首先他們會(huì)有買(mǎi)機(jī)器或租機(jī)器的算力需求，但他們更想知道 AI 有什么用，如果沒(méi)用的話，他們不想付出太多成本，所以我們今年也增加了私有化部署的相關(guān)業(yè)務(wù)。

第二點(diǎn)感受是大家更重視 AI Infra 了，之前可能一些大模型廠商和投資人對(duì) AI Infra 會(huì)更重視一些，DeepSeek 開(kāi)源那一周持續(xù)不斷給大家?guī)?lái)震撼，大家對(duì) Infra 的重視程度更高了，現(xiàn)在也有很多幾百上千卡的集群找過(guò)來(lái)問(wèn)能不能也給我們弄個(gè)專(zhuān)家并行的方式，然后 PD 分離把成本打下來(lái)。

然后 DeepSeek 是對(duì) H 系列的顯卡做了很好優(yōu)化，但其他比如國(guó)產(chǎn)顯卡或者一些老的卡，他們并沒(méi)有很好地支持 FP8，所以也有很多客戶(hù)反饋說(shuō)用 BF16 跑滿血版使他們不得不用兩倍的硬件成本。我們上周開(kāi)源的赤兔推理引擎一大特色是計(jì)算還是用 BF16 來(lái)算，但是用 FP8 進(jìn)行存儲(chǔ)，這樣可以讓國(guó)產(chǎn)卡和英偉達(dá)老卡舊卡跑滿血版的最低硬件成本直接砍半。

我們?cè)?A800 上進(jìn)行了一個(gè)實(shí)驗(yàn)，原來(lái)六臺(tái)才能跑 BF16 滿血版，現(xiàn)在三臺(tái)就能跑，性能還提升了三倍多，所以非 H 的顯卡還是有很多機(jī)會(huì)的，存量顯卡非常多，用的人非常多，這件事還是蠻有意義的，開(kāi)源之后關(guān)注的人很多，后續(xù)我們也會(huì)持續(xù)不斷去做更好的適配。

劉學(xué)：我的感受第一是 Deepseek 帶來(lái)的驚喜是在 2048 個(gè) GPU 組成集群的情況下突破了硬件的約束；第二是他們提出通信的重要性，把GPU與GPU間的通信做到了極致，首次提出將通信環(huán)節(jié)從GPU的SM核卸載出來(lái)的概念，整體從軟硬件層有一個(gè)體驗(yàn)點(diǎn)，找到這個(gè)體驗(yàn)點(diǎn)進(jìn)行更高層級(jí)的優(yōu)化；第三是 DeepSeek 的 MLA 和 MoE 的方案使得 KVCache 在 GPU 和 GPU 之間的搬移要求更高，包括 PTX 層的計(jì)算實(shí)際上對(duì)數(shù)據(jù)傳輸和計(jì)算提出了很多要求。在高能效的計(jì)算和通信之下，包括通信和計(jì)算的堆疊并行化，是值得我們對(duì) AI Infra 下一代硬件設(shè)計(jì)有更好思考的。

王康曼：整個(gè)行業(yè)的成本因?yàn)?DeepSeek 也壓縮得比較厲害，大家怎么看云廠商的價(jià)格戰(zhàn)？會(huì)影響初創(chuàng)公司嗎？

徐凌杰：講成本要面對(duì)特定市場(chǎng)，就以中國(guó)來(lái)講有兩個(gè)不同市場(chǎng)，一個(gè)是云上大規(guī)模、大并行，需要大集群做到極致 token per second 性?xún)r(jià)比，另一個(gè)是線下本地化部署，在預(yù)算有限的情況下，把 DeepSeek 滿血、蒸餾版用起來(lái)。

這對(duì)于我們 AI Infra 公司來(lái)講也就有兩個(gè)選擇，一是往更極致方向走，把成本打下去，壁壘相當(dāng)高，算法工程師要懂工程的東西，軟件工程師要懂硬件的東西，甚至要考慮網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)一系列問(wèn)題。

從具體數(shù)字來(lái)講， DeepSeek 售價(jià)是百萬(wàn) token 16 元，如果把所有 token 都轉(zhuǎn)換成收入的話，潛在毛利率在 500% 以上，也就是說(shuō)它的成本是 2 元左右，如果只用若干臺(tái)機(jī)器在線下部署做一體機(jī)的話，單位token的成本可能是他們的幾十倍，這取決于用什么機(jī)器。

然后也要討論硬件演進(jìn)，目前中美走的路徑大同小異，就是要把芯片做大，芯片不夠大的情況下，要做 Chiplet 封裝，然后在集群里有大量的 HBM，再做 Scale up、Scale out。從這個(gè)路徑上來(lái)看，大家還是在往更大的集群上走，美國(guó)大量的業(yè)務(wù)是上云的，他們看到的是云上大并發(fā)、大容量、大集群的市場(chǎng)，中國(guó)會(huì)有相當(dāng)一部分業(yè)務(wù)留在線下，這是中國(guó)額外的機(jī)會(huì)點(diǎn)。

師天麾：我非常認(rèn)同，MaaS 有很多真實(shí)需求，國(guó)內(nèi)外很多開(kāi)發(fā)者都希望能用云上的 API，也確實(shí)很便宜，但 MaaS 的盈利空間整體還是要看算力規(guī)模、優(yōu)化程度、客戶(hù)付費(fèi)能力等多個(gè)因素，算力成本也會(huì)隨著更優(yōu)的硬件架構(gòu)和更好的硬件工藝進(jìn)一步降低，模型價(jià)格未來(lái)也會(huì)持續(xù)變化，現(xiàn)在沒(méi)法一概而論能否盈利。

中國(guó)也有很多本地化部署需求，前期可以簡(jiǎn)單在云上嘗試，但很難真正放進(jìn)業(yè)務(wù)中，因?yàn)榇嬖谔嗝舾袛?shù)據(jù)不好上云。所以有幾種方案，預(yù)算有限可以先租個(gè)云，或者不買(mǎi)可以運(yùn)行 FP8 滿血版機(jī)器，而是先買(mǎi)幾十萬(wàn)的機(jī)器跑蒸餾模型，在同樣預(yù)算的情況下，大多數(shù)客戶(hù)會(huì)做這種選擇，在自己真實(shí)的業(yè)務(wù)場(chǎng)景里測(cè)試，我認(rèn)為 MaaS 和本地化部署會(huì)長(zhǎng)期共存。

王康曼：國(guó)內(nèi) DeepSeek 之后也有了挺多一體機(jī)出現(xiàn)，大家認(rèn)為初創(chuàng)企業(yè)在 DeepSeek 的成本壓縮下，應(yīng)該怎樣面對(duì)或者給大家?guī)?lái)怎么樣的機(jī)遇？

劉學(xué)：我們?cè)诳紤]成本時(shí)要對(duì)齊到硬件的使用成本，而硬件使用成本無(wú)論是 Transformer、DeepSeek 還是原來(lái) CNN 卷積時(shí)代，有三個(gè)方面對(duì)于降本能起到很好的示范作用。第一是設(shè)計(jì) ASIC 或者 GPGPU 能效比的問(wèn)題，比如 1W 能夠處理多少 T ops 算力，這直接決定了每單位瓦數(shù)能提供多大算力，這個(gè)算力影響到任務(wù)的 token 輸出；

第二是利用率，在能效比一定的情況下進(jìn)行計(jì)算、通信、互聯(lián)等優(yōu)化，提高利用率，這樣在每瓦提供的功耗下能運(yùn)算更多任務(wù)；第三是云端和端側(cè)的結(jié)合，在云端和本地的推訓(xùn)，國(guó)內(nèi)很多研究單位和中小型企業(yè)也和 CNN 時(shí)代一樣，考慮了自身的私有數(shù)據(jù)隱秘性和及時(shí)性，所以更多投入本地購(gòu)買(mǎi)。

王康曼：從這些點(diǎn)上來(lái)看，初創(chuàng)企業(yè)是否能比大廠適配地更快？

劉學(xué)：大廠的整體優(yōu)勢(shì)在于全方位構(gòu)建能力，初創(chuàng)企業(yè)聚焦更底層，要選擇自己具有優(yōu)勢(shì)的點(diǎn)集中突破，這也是我們選擇 GPU 和 GPU scale up 的通信點(diǎn)的原因，有些大廠在 AI Infra 上層沒(méi)有做調(diào)度器，我們做云側(cè)的優(yōu)化器、裝 K8S 訓(xùn)練起來(lái)，這塊是有發(fā)展空間的。

師天麾：相比于大廠，創(chuàng)業(yè)公司也有自己的優(yōu)勢(shì)，我覺(jué)得有兩點(diǎn)，一是反應(yīng)速度快，我前段時(shí)間做了很多對(duì)接客戶(hù)的工作，因?yàn)槲覀円餐瞥隽艘惑w機(jī)，然后不斷根據(jù)用戶(hù)反饋來(lái)調(diào)整我們的產(chǎn)品細(xì)節(jié)。我們會(huì)總結(jié)之前對(duì)接客戶(hù)的經(jīng)驗(yàn)，當(dāng)晚或者第二天就能開(kāi)會(huì)調(diào)整策略，從上到下的決策鏈非常短。

二是我們更愿意提供定制化的端到端服務(wù)。去年我們也做了一些大模型廠商的性能優(yōu)化單子，他們當(dāng)時(shí)租的云可能是云大廠的，但沒(méi)有找那邊專(zhuān)門(mén)優(yōu)化，因?yàn)榇髲S考慮到成本更喜歡賣(mài)標(biāo)準(zhǔn)化的東西，我們?cè)敢饨o客戶(hù)提供更深度的優(yōu)化、更定制化的服務(wù)。今年也有很多企業(yè)想把 AI 用起來(lái)，我們也愿意幫這些客戶(hù)從0到1將AI在自己的業(yè)務(wù)場(chǎng)景中使用起來(lái)。

徐凌杰：小公司要成長(zhǎng)起來(lái)有幾個(gè)關(guān)鍵詞，一是有壁壘，要有差異化競(jìng)爭(zhēng)優(yōu)勢(shì)；二是可落地，不能只做得高大上，商業(yè)本質(zhì)是賣(mài)貨邏輯，無(wú)論是虛擬還是實(shí)際貨品都要可落地；三是可復(fù)制，就像最近很多人討論 MaaS，我認(rèn)為無(wú)論接下來(lái)做線上生意還是結(jié)合硬件去做，甚至軟硬件一體去做，MaaS 都是非常重要的能力。

從 DeepSeek 發(fā)布 V3 到現(xiàn)在三個(gè)月左右時(shí)間，絕大部分人都還沒(méi)能在那么大的規(guī)模里復(fù)現(xiàn)他們那種極低的成本。這使 MaaS 能力變得非常核心，如果有個(gè)幾十人的團(tuán)隊(duì)能實(shí)現(xiàn)媲美 DeepSeek 能力的話，在全世界范圍內(nèi)都非常值錢(qián)的，但是在沒(méi)有足夠的算力資源、優(yōu)化能力的情況下，貿(mào)然出擊往往會(huì)虧錢(qián)，因?yàn)闆](méi)有龐大的用戶(hù)、特別大的集群以及足夠的并發(fā)。對(duì)于初創(chuàng)來(lái)講，在資源有限、壁壘還在逐漸建立的過(guò)程中，落地要分不同階段去作為。

另外也要找到長(zhǎng)期錨點(diǎn)，我們團(tuán)隊(duì)的機(jī)會(huì)點(diǎn)在軟硬協(xié)同，特別是以硬件為底座，從大的機(jī)會(huì)來(lái)講，就像黃仁勛說(shuō)的，未來(lái)模型變得更大、上下文變得更長(zhǎng)，就需要先把 Scale up 做起來(lái)，集群變大后優(yōu)化的搜索空間變得更大之后，想象空間就變得非常大，這當(dāng)中不僅有軟硬結(jié)合的調(diào)優(yōu)技術(shù)，還有相當(dāng)一部分是我們之前相對(duì)比較忽視，但又有非常強(qiáng)的工程壁壘的。

在過(guò)去一年當(dāng)中 NVL72 落地遇到了很多問(wèn)題，包括穩(wěn)定性、漏液、冷量不足等，這和我們今天講的調(diào)優(yōu)沒(méi)有特別強(qiáng)的關(guān)系，但它是整個(gè)工業(yè)的基礎(chǔ)，也就是說(shuō)今天要把這樣非常強(qiáng)互聯(lián)的集群，幾百上千張卡集成在一起，從之前 CPU 集群的 6 千瓦到 8 千瓦的機(jī)柜，到單臺(tái)服務(wù)器 H100 12 千瓦的功耗，到 NVL72 的 120 千瓦，再到未來(lái) Rubin 系列 800 千瓦以上，上兆瓦級(jí)別的集成度當(dāng)中有很多有挑戰(zhàn)、有價(jià)值的工作可做。

英偉達(dá)過(guò)去兩年投入了非常大的精力在做 NVL72，他們遇到了很多工程問(wèn)題，但非常堅(jiān)定不移地宣布了這個(gè)路線，未來(lái)還會(huì)持續(xù)投入去做得更大、更強(qiáng)，更加 Scale up，AMD 也收購(gòu)了 ZT Systems 要往這方面追趕。這是我們作為初創(chuàng)公司看到的機(jī)會(huì)點(diǎn)，不僅要有軟件層 MaaS 的世界一流能力，硬件也是基礎(chǔ)。

2.國(guó)產(chǎn)芯片的機(jī)遇和挑戰(zhàn)
王康曼：DeepSeek R1 出來(lái)之后，最早部署在云上的大部分都是國(guó)外的廠商，國(guó)內(nèi)可能因?yàn)榇汗?jié)晚了幾天，但還有一個(gè)原因也是國(guó)內(nèi)底層芯片不一定用英偉達(dá)，大家怎么看 DeepSeek 給國(guó)產(chǎn)芯片帶來(lái)的挑戰(zhàn)和機(jī)遇？

師天麾：國(guó)產(chǎn)適配慢幾天肯定有一部分是春節(jié)原因，我們之前合作的硬件廠商，也有在春節(jié)期間就開(kāi)始跟我們開(kāi)會(huì)討論后續(xù)關(guān)于 DeepSeek 的適配和優(yōu)化合作計(jì)劃，一是春節(jié)肯定有影響，另一個(gè) DeepSeek 開(kāi)源方案是在英偉達(dá)原生跑的，自然英偉達(dá)說(shuō)上立馬上了。

不過(guò)國(guó)產(chǎn)適配也沒(méi)那么復(fù)雜，這波給國(guó)產(chǎn)帶來(lái)的機(jī)會(huì)相較挑戰(zhàn)更多，因?yàn)榭傮w上需求變大了，企業(yè)私有化部署的需求起來(lái)了，隨著這塊市場(chǎng)的增加國(guó)產(chǎn)芯片市場(chǎng)也在相應(yīng)增加，然后推理變得越來(lái)越復(fù)雜，比如要去設(shè)計(jì)更大的顯存，以及互聯(lián)技術(shù)因?yàn)楝F(xiàn)在需要多機(jī)推理了，需要更好的通信以及各種優(yōu)化通信的手段，這也是國(guó)產(chǎn)的機(jī)會(huì)。

DeepSeek 從 Infra 角度給大家?guī)?lái)的震撼也是非常明顯的，大家也會(huì)從軟硬結(jié)合的角度去思考，從算法設(shè)計(jì)、硬件設(shè)計(jì)以及系統(tǒng)設(shè)計(jì)三方面一起來(lái)考慮怎么跑得又快又好，成本還低，整體市場(chǎng)是在變得越來(lái)越好的。

王康曼：這點(diǎn)我想聽(tīng)一下劉老師的想法，因?yàn)閯⒗蠋熥龅木褪且?NVLink 替代的事情。

劉學(xué)：我們最近也對(duì)接了一些客戶(hù)，發(fā)現(xiàn) DeepSeek 對(duì)大家的影響在于 AI Infra 這一層級(jí)的加速。剛才徐老師也說(shuō)到 NVL72 這一塊英偉達(dá)做了好幾年，我從底層去講包括散熱，我前幾天看到一篇文章通過(guò) 3D 打印實(shí)現(xiàn)散熱，現(xiàn)在也在有所改進(jìn)，包括一些光纖和電纜的使用，包括 GPU 之間的互聯(lián)和 GPU 和 CPU 之間的互聯(lián)，英偉達(dá)現(xiàn)在是兩條研發(fā)路線，第一條路線是 GPU、 CPU 互聯(lián)自己做，第二條路線是 GPU 自己做，通信可以用 CX7、CX8 甚至更高的網(wǎng)卡，CPU 是 AMD 和英特爾做。

在整體的過(guò)程中，解剖 AI Infra 對(duì)我們的影響，剛才我說(shuō)的加速是在每個(gè)節(jié)點(diǎn)的加速，而從線纜、傳輸介質(zhì)、CPU 互聯(lián)一直到交換，再到 CPU 和 GPU 之間到底是 PCRE 還是 CXL 之間的選擇，也面臨著認(rèn)知的加速，最終大家會(huì)看到整個(gè) AI Infra 的發(fā)展，Infra 的部署就是在英偉達(dá)的 CUDA 生態(tài)或者國(guó)內(nèi)自成生態(tài)，或者是統(tǒng)一生態(tài)下的整個(gè)基礎(chǔ)設(shè)施一直到超節(jié)點(diǎn)，72 也好英偉達(dá)的 576 也好，國(guó)內(nèi)的 64 也好一個(gè)更快速 Scale up 和 Scale out 增進(jìn)。

徐凌杰：DeepSeek 出來(lái)之后對(duì)國(guó)產(chǎn)芯片來(lái)講是有提振作用的，需求變大了，大家覺(jué)得都有機(jī)會(huì)了，同時(shí)挑戰(zhàn)也變得非常大，一方面大家在看線下的一體機(jī)市場(chǎng)，另外很多人瞄上集群化機(jī)會(huì)，有不止兩三家企業(yè)在春節(jié)之后馬上就定下了目標(biāo)，要做 352 卡、 384 卡大集群部署，甚至千卡集群要分成兩部分，一個(gè)做 R1 的部署，另一個(gè)做 V3 的部署，這些都在他們的規(guī)劃中。

但事實(shí)上今天似乎都還沒(méi)有官宣，看起來(lái)還需要一段時(shí)間調(diào)試，遇到的問(wèn)題可能跟剛剛的描述是類(lèi)似的。這一塊壁壘很高，絕大部分國(guó)產(chǎn) GPU 公司、AI 芯片公司大家往往是在做芯片設(shè)計(jì)，比較 側(cè)重于計(jì)算核心的微架構(gòu)方面的設(shè)計(jì)，但大集群推理涉及到網(wǎng)絡(luò)，從數(shù)據(jù)中心層面來(lái)考慮，需要更全面的能力。

許多人覺(jué)得有些芯片廠商和英偉達(dá)很近了，但事實(shí)上無(wú)論從硬件還是軟件來(lái)講差距都還有些遠(yuǎn)，硬件上很大的差距在于絕大部分公司通過(guò) PCIE 口在機(jī)內(nèi)進(jìn)行直連，而沒(méi)有 NVSwitch ，然后在節(jié)點(diǎn)間通過(guò)網(wǎng)卡交互，這比未來(lái)國(guó)外的 NVL72 全面高速連接 72 卡、144 卡、576 卡會(huì)弱不少。

我覺(jué)得面臨雙重挑戰(zhàn)，一是硬件能力的差距，算力存在現(xiàn)實(shí)的技術(shù)差距，也需要正視，如何把這塊能力建立起來(lái)，機(jī)會(huì)指向的大型集群，今天我們可能還是基于現(xiàn)有的卡，通過(guò)網(wǎng)卡的 Scale out 來(lái)做一個(gè) 384 卡、 352 卡的集群搭建，未來(lái)會(huì)有更多公司把 Scale up 集群做出來(lái)，然后通過(guò)中國(guó)的集群落地能力做出比 NVL72、144、576 密度更高的集群，這是我們的潛在出路。

之前我們說(shuō)單個(gè)芯片不太行就在芯片上做 Chiplet，今天是說(shuō)單個(gè)封裝的芯片性能沒(méi)那么強(qiáng)的情況下，要把集群能力發(fā)揮到極致，然后解決散熱、冷卻、互聯(lián)的問(wèn)題，這是我看到的一條路。然而，之前的芯片設(shè)計(jì)可能并不適合像 DeepSeek 這樣的模型發(fā)展，現(xiàn)在集群的發(fā)展超出預(yù)期，所以我覺(jué)得對(duì)于 AI Infra、芯片都是新的洗牌過(guò)程，要看誰(shuí)能在這個(gè)浪潮中順勢(shì)而為。

王康曼：現(xiàn)在確實(shí)是個(gè)洗牌的過(guò)程，DeepSeek 出來(lái)之后國(guó)外跑得比英偉達(dá)還快的集群是 Cerebras 做的，現(xiàn)在最快的兩家公司 Cerebras 和 Groq 他們底層用的都不是 GPGPU 的架構(gòu)，大家感覺(jué) DeepSeek 之后會(huì)不會(huì)有更多和 Infra 相關(guān)的芯片出現(xiàn)，或者說(shuō)國(guó)內(nèi)有沒(méi)有一些類(lèi)似的玩家在這一塊做得特別突出的？

劉學(xué)：第一是 Cerebras 和特斯拉的 Dojo 使用的是臺(tái)積電的 Infra 封裝，這在臺(tái)積電的工藝?yán)锸菍儆诤芟冗M(jìn)的，包括良品率的提升和關(guān)注，第二我們是需要跟 GPU 廠商聯(lián)合搭建 Scale up 的方案，我僅代表個(gè)人發(fā)表一下觀點(diǎn)，國(guó)內(nèi)原先 14 年到 18 年之間，大家做 CNN 那時(shí)候的 ASIC 或者 NPU 概念是比較流行的，現(xiàn)在國(guó)內(nèi)一些芯片廠商除了在端側(cè)做 ASIC 外，在云側(cè)也更加期望貼近 GPGPU 的設(shè)計(jì)，一些端側(cè)或者云側(cè)廠商走向 ASIC 是一個(gè)比較好的事情。云側(cè)的 GPGPU 是比較標(biāo)準(zhǔn)的 PTX 或者說(shuō)底下的 SaaS 指令執(zhí)行是比較通用的版本。

無(wú)論是 GPGPU 還是 ASIC 上，大家也看到除了 GPU 的單核、單 SM，NPU 的單核、單 cluster 外，要把 cluster 內(nèi)部的計(jì)算單元進(jìn)行更多的互聯(lián)，我們還是要講這個(gè)事情，無(wú)論是芯片內(nèi)的一個(gè) Chiplet 還是芯片外的 scale up?，F(xiàn)在大家也形成了一些共識(shí)，在互聯(lián)層面應(yīng)該有一個(gè) computing in network 的存在，這也成為了 AI Infra 的必備特性。

徐凌杰：DeepSeek 根據(jù)手上的硬件做了相應(yīng)的模型設(shè)計(jì)，也就是說(shuō)模型是有一定彈性的，假設(shè)中美沒(méi)有禁運(yùn)的話，他們能拿到 NVL72 這樣全球最優(yōu)秀的集群產(chǎn)品，可能設(shè)計(jì)出來(lái)的模型是不太一樣的，能更好地發(fā)揮全互聯(lián)的優(yōu)勢(shì)。在模型有大量可變化前景的情況下，硬件是要保留足夠靈活性的，同時(shí)，無(wú)論 GPU 還是 DSA 大家已經(jīng)很趨同了，因?yàn)槟繕?biāo)市場(chǎng)是一樣的，流派沒(méi)有那么大的差別。

英偉達(dá)在 Blackwell、Hopper 里都加入了一些特定的指令，來(lái)加速 AI 的 workload，也就是說(shuō)他們 tensore core 設(shè)計(jì)、指令集設(shè)計(jì)也好、memory loading 方式為了 AI 的特定應(yīng)用，已經(jīng)做了相當(dāng)?shù)膬?yōu)化，也有了一定的傾斜。GPU 很多東西是為了圖形做專(zhuān)業(yè)化設(shè)計(jì)的，這一塊差距沒(méi)有那么大。V2 的結(jié)構(gòu)到 V3 是有一定延續(xù)性的，隨著模型變得越來(lái)越大， expert 變得越來(lái)越多，對(duì)于容量的要求也會(huì)變得更高。

現(xiàn)在像 Groq、Cerebras 因?yàn)槠洗鎯?chǔ)的容量限制，都跑不起來(lái)滿血版的 R1，之前我們也看到過(guò)有公司在純片上存儲(chǔ)的情況下能跑出非常優(yōu)秀的性能，但一旦有容量的硬傷之后就跑不起來(lái)了。這就涉及到后面大的趨勢(shì)的判斷，就是說(shuō)模型是不是還會(huì)變得那么大，能不能通過(guò)其他的 KV Cache 進(jìn)一步壓，或者通過(guò)多級(jí)存儲(chǔ)的方式把存儲(chǔ)限制去掉。

今天都是用非常貴的 HBM，而 HBM 會(huì)受到封裝、顆粒、美國(guó)禁運(yùn)的限制，那么在 memory 的技術(shù)上，有沒(méi)有一些其他方式通過(guò) 3D 堆疊，能夠利用 commodity 去做更大的基于 GDDR 6、LPDDR 的芯片，我覺(jué)得會(huì)有各種各樣的方式，這也是在剛剛講的曲線里面的不同的體驗(yàn)點(diǎn)，要解決的是并發(fā)的問(wèn)題，還是解決 latency的問(wèn)題，基于不同的設(shè)計(jì)來(lái)講，會(huì)有不同的答案。從這個(gè)方向上來(lái)講，未來(lái)一段時(shí)間里會(huì)有非常大的變化，也會(huì)出現(xiàn)不同的流派，我感覺(jué)會(huì)非常精彩。

王康曼：DeepSeek 給國(guó)內(nèi)外的芯片廠商都帶來(lái)了很多啟發(fā)，說(shuō)到硬件最近也有聲音說(shuō)到美國(guó)政府要求進(jìn)一步禁運(yùn)英偉達(dá)芯片，首先不知道這件事是真是假，但如果真的有進(jìn)一步禁運(yùn)的話，假設(shè)最基礎(chǔ)的芯片都進(jìn)不來(lái)，對(duì)我們影響大嗎？

師天麾：短期內(nèi)在一些供應(yīng)能力上可能會(huì)受到一些影響，然后大家的成本可能會(huì)有所提升，但是我覺(jué)得這個(gè)反而會(huì)推動(dòng)大家更重視國(guó)產(chǎn)生態(tài)或國(guó)產(chǎn)硬件，怎么用得更好，這可能在一定程度上是一種助推?，F(xiàn)在大家也意識(shí)到國(guó)產(chǎn)顯卡能把性能堆得不錯(cuò)，但在易用性上還有一定進(jìn)步空間，這其實(shí)就是軟件生態(tài)還不夠完善。

所以這也是我們?cè)谧鲆粋€(gè)事情，就是端到端把整個(gè)軟件棧做起來(lái)，完善軟件生態(tài)之后，就像我們開(kāi)源赤兔推理引擎一樣，我們把技術(shù)貢獻(xiàn)出來(lái)，最近也有很多廠商主動(dòng)提出，希望雙方一起合作適配我們赤兔引擎，希望能把國(guó)產(chǎn)顯卡、國(guó)產(chǎn)系統(tǒng)以及國(guó)產(chǎn)模型打造成一個(gè)閉環(huán)，這也是我們的終極目標(biāo)，無(wú)論英偉達(dá)禁不禁運(yùn)，我們最終都是可以實(shí)現(xiàn)這個(gè)目標(biāo)的，只是時(shí)間問(wèn)題。

劉學(xué)：我覺(jué)得如果禁運(yùn)的話，會(huì)讓國(guó)內(nèi)百花齊放，在這個(gè)過(guò)程中也給了大家一定的窗口期，有可能是一兩年甚至更長(zhǎng)時(shí)間，可以去思考 GPGPU 和 ASIC 的設(shè)計(jì)特點(diǎn)，乃至跟上層生態(tài)的結(jié)合，國(guó)內(nèi)芯片的部署在生態(tài)上還有很大的提升空間。

徐凌杰：我想對(duì)于創(chuàng)業(yè)公司來(lái)講就是要守正創(chuàng)新，無(wú)論禁不禁運(yùn)公司都要能走下去。對(duì)于做芯片來(lái)講，守正是國(guó)產(chǎn)供應(yīng)鏈要走下去，對(duì)于我們這種目前還不做芯片的公司來(lái)講，就是無(wú)論哪種情況下都要有備案，無(wú)論在海外發(fā)展業(yè)務(wù)還是在國(guó)內(nèi)通過(guò)跟國(guó)產(chǎn)芯片合作也好，通過(guò)其他方式去做拓展也好，都是必須要去考慮的。禁運(yùn)會(huì)帶來(lái)大的格局上的變化。

中國(guó)包括前一波的芯片公司，雖然現(xiàn)在有一些不同的流派，但主流的幾家AI 芯片公司、 GPU 公司，其實(shí)就是誰(shuí)能夠長(zhǎng)得更像英偉達(dá)，誰(shuí)就能融得到錢(qián)，而在美國(guó) Cerebras、Groq 則是誰(shuí)長(zhǎng)得越不像英偉達(dá)誰(shuí)就能融到錢(qián)，這是兩個(gè)不一樣的思考方式。

如果接下來(lái)禁運(yùn)的話，從技術(shù)流派上來(lái)講，會(huì)是一個(gè)非常大的變化，現(xiàn)在中國(guó)絕大部分公司都還在走大芯片 Chiplet 集成，然后走 HBM 的大封裝方式，這是美國(guó)走過(guò)的路，也比較確定能往下走，甚至包括我們剛剛講的 Scale up 路線也是有比較強(qiáng)的確定性的，英偉達(dá)趟過(guò)坑了，可以用比較小的成本去 copy 它的路線圖往下走。

如果說(shuō)完全禁運(yùn)的情況下，路徑模仿的可能性沒(méi)有了之后，反而是會(huì)促進(jìn)中國(guó)有一些其他創(chuàng)新的。我是比較期待的。就是說(shuō)無(wú)論如何我們都要做好準(zhǔn)備，跟著美國(guó)走 Scale up 這條路線，我們已經(jīng)完全準(zhǔn)備好了，要做更大的集群，能夠跟各個(gè)廠商配合。如果走另外一條路線，我相信我們也是能夠和芯片公司配合起來(lái)的，也能夠有成長(zhǎng)性、確定性。

3.構(gòu)建開(kāi)源生態(tài)的啟示錄
王康曼：我們說(shuō)了這么長(zhǎng)時(shí)間的硬件，想換一個(gè)話題問(wèn)一下，我覺(jué)得 DeepSeek 讓整個(gè) AI 界、投資界覺(jué)得很震撼的一點(diǎn)，除了它是個(gè)非常高效的模型外，就是它的開(kāi)源，你們覺(jué)得這對(duì)中國(guó)甚至全世界的 AI 生態(tài)會(huì)有什么影響呢？

劉學(xué)：對(duì)于世界的影響，我覺(jué)得楊立昆教授說(shuō)了句實(shí)話，他說(shuō)美國(guó)一直在禁止對(duì)國(guó)內(nèi)的開(kāi)源，結(jié)果中國(guó)的科學(xué)家和工程師們反而做出了更加驚艷的成績(jī)。

對(duì)于開(kāi)源我們有兩點(diǎn)思考，一是 Deepseek 當(dāng)前無(wú)論是訓(xùn)練還是推理，對(duì)整個(gè)計(jì)算、互聯(lián)、通信的認(rèn)知影響能否形成大家統(tǒng)一認(rèn)可的一致標(biāo)準(zhǔn)，第二是從 DeepSeek 的開(kāi)源上底層如果由自己在軟件層設(shè)計(jì)，我們所說(shuō)的軟件層除了DeepSpeed、vLLM 這些訓(xùn)推框架，和在通信庫(kù)層和底層運(yùn)行時(shí)，也就是中間件層的開(kāi)源，或者大家分別拿出一部分來(lái)在國(guó)內(nèi)做一些更統(tǒng)一、可能有優(yōu)化方向的社區(qū)和項(xiàng)目，這也會(huì)給我們帶來(lái)了一些思考。

王康曼：你覺(jué)得我們?cè)跇I(yè)務(wù)模式上面對(duì)開(kāi)源和閉源的模式，從您個(gè)人或者初創(chuàng)企業(yè)的角度會(huì)不會(huì)有些區(qū)別的對(duì)待？

劉學(xué)：我們認(rèn)為應(yīng)該有區(qū)別對(duì)待的，這可能影響著在芯片層或者硬件層做標(biāo)準(zhǔn)或者做自己工作的結(jié)果，簡(jiǎn)單來(lái)說(shuō)無(wú)論做 Scale up 的解決方案還是 GPGPU、ASIC，上層都要給用戶(hù)或者工程師開(kāi)放一些軟件層的東西，就像英偉達(dá)的 PTX 是開(kāi)源的，但是它底層的 SaaS 層是不開(kāi)源的。在國(guó)內(nèi)做計(jì)算、通信是不是在 PTX 這層開(kāi)源，讓更多的使用者或者工程師在這一層級(jí)能夠有更深層次的優(yōu)化，這應(yīng)該是個(gè)值得思考的方向。

師天麾：DeepSeek 火了之后全世界科學(xué)家都會(huì)在他們的基礎(chǔ)上做研究，這一方面擴(kuò)大了他們的影響力，另一方面這些研究對(duì) DeepSeek 接下來(lái)的研究也會(huì)有所幫助，所以說(shuō)開(kāi)源的思路就是去結(jié)交更多朋友，然后大家一起合力做更大的事情。DeepSeek 就是做更好的模型，然后以 AGI 為目標(biāo)，邀請(qǐng)大家做更大事情。我們的赤兔推理引擎開(kāi)源也是這樣的，我們就是想邀請(qǐng)無(wú)論是模型廠商、芯片廠商，還是一些社區(qū)開(kāi)發(fā)者、個(gè)人愛(ài)好者，都一起來(lái)把這個(gè)國(guó)產(chǎn)生態(tài)做好，助力中國(guó) AI 產(chǎn)業(yè)的發(fā)展。

然后包括剛才劉老師有提到底層 PTX 這一層，國(guó)產(chǎn)顯卡公司能不能開(kāi)源，我們這塊也會(huì)有一些具體的感受，因?yàn)槲覀兏Χ嗉覈?guó)內(nèi)芯片廠商有合作，大家確實(shí)開(kāi)源程度不一樣，如果對(duì)方能把某個(gè)接口開(kāi)放給我們，我們對(duì)算子優(yōu)化的能力就會(huì)更強(qiáng)。

開(kāi)源建立生態(tài)然后邀請(qǐng)更多朋友助力，這也許會(huì)引起更多無(wú)論是模型廠商還是硬件廠商的思考，今年我們有一些私有化部署的客戶(hù)，大家可能去年已經(jīng)買(mǎi)了一些閉源模型都已經(jīng)部署上去了，但今年還是要換 DeepSeek，然后他們的觀點(diǎn)就是說(shuō)開(kāi)源還是更靈活一些。

王康曼：所以師老師覺(jué)得開(kāi)源會(huì)是以后的一個(gè)大方向，那這個(gè)對(duì)傳統(tǒng)廠商沖擊挺大的。

師天麾：只能說(shuō)會(huì)引起更多思考，但是否要開(kāi)源看自己如何選擇，包括 OpenAI 現(xiàn)在只是把價(jià)格打下來(lái)或者免費(fèi)了，但他們依然選擇 close 的路線，我只能說(shuō)大家各有思考，選擇最適合自己的路線。

徐凌杰：我覺(jué)得首先開(kāi)源是一個(gè)展現(xiàn)團(tuán)隊(duì)極強(qiáng)的自信心的項(xiàng)目，但我們也知道在 GitHub 上有很多開(kāi)源項(xiàng)目爛尾也是比較常見(jiàn)的，后續(xù)沒(méi)有人再去運(yùn)營(yíng)了。DeepSeek 的開(kāi)源是非常有影響力，全世界范圍內(nèi)甚至對(duì)股市都造成了非常大的沖擊，他們一開(kāi)始其實(shí)也只是開(kāi)放了權(quán)重，后面把自己的一部分能力釋放出來(lái)，讓大家覺(jué)得他們是非常扎實(shí)的團(tuán)隊(duì)，對(duì)于初創(chuàng)公司來(lái)講人才吸引也好，品牌建設(shè)、吸引投融資來(lái)講這都是非常重要的事情，真開(kāi)源跟假開(kāi)源是不一樣的。

第二對(duì)于生態(tài)建設(shè)而言，英偉達(dá)也是相對(duì)來(lái)說(shuō)比較封閉的，但是它也有一定的層次是開(kāi)放的，能夠讓全世界所有的開(kāi)發(fā)者建立在他們平臺(tái)上，作為工業(yè)基礎(chǔ)去做開(kāi)發(fā)，這樣就形成了一個(gè)合力的正向循環(huán)?，F(xiàn)在國(guó)內(nèi)很多國(guó)產(chǎn)芯片公司，一方面還沒(méi)形成氣候，另一方面開(kāi)源出來(lái)東西可能也不 solid，發(fā)出來(lái)別人也沒(méi)辦法用起來(lái)，還是有一段路要去走的，這對(duì)我們這樣的初創(chuàng)公司有帶來(lái)了啟示，回到商業(yè)模式來(lái)講，你靠什么賺錢(qián)，今天模型如果做閉源，那么跟 DeepSeek 比有什么優(yōu)勢(shì)，到底是數(shù)據(jù)上的，還是客戶(hù)關(guān)系上的，而對(duì)于我們做優(yōu)化來(lái)講非常重要的是能夠持續(xù)迭代的能力。

現(xiàn)在開(kāi)源社區(qū)里有 vLLM、SGLang，英偉達(dá)也開(kāi)始在推 Dynamo 框架，業(yè)界知識(shí)平權(quán)會(huì)變得非?？?，很快就會(huì)沒(méi)有秘密，很多東西都是會(huì)流通的，也就是說(shuō)今天你認(rèn)為你發(fā)現(xiàn)了一個(gè)非常厲害的東西，三個(gè)月之后可能沒(méi)有那么厲害了。那對(duì)于初創(chuàng)公司而言護(hù)城河在哪，這是我一直以來(lái)的思考，再回到 MaaS 是不是好生意，我認(rèn)為它是一個(gè)非常重要的能力，能夠有這么一個(gè)團(tuán)隊(duì)持續(xù)迭代至關(guān)重要，但僅憑這點(diǎn)做生意可能非常容易被顛覆，投資人也不太放心，所以還是要有一個(gè)比較長(zhǎng)久的護(hù)城河，要可落地、可復(fù)制。我覺(jué)得開(kāi)源對(duì)商業(yè)模式?jīng)_擊是比較大的，很多人已經(jīng)被顛覆了，還有一些人在被顛覆中，如果不想被顛覆還是要找到錨點(diǎn)。

王康曼：楊立昆也說(shuō)開(kāi)源是以后的大趨勢(shì)，不開(kāi)源的公司在這當(dāng)中要思考的東西還是比較多的，剛才徐老師也提到了 Dynamo，英偉達(dá)剛開(kāi)完 GTC 大會(huì)，里面的亮點(diǎn)還是挺多的，其中我覺(jué)得有一點(diǎn)我有點(diǎn)小驚訝，就是關(guān)于 Silicon Photonic 這塊，用 Silicon Photonic 把 NVLink 做得更完善還是挺早的，老黃說(shuō)了這么一句，所以我也想聽(tīng)聽(tīng)各位老師的想法，這個(gè)事情是可以很快商業(yè)化落地的嗎？還是他只在說(shuō)一個(gè)故事？

徐凌杰：已經(jīng)是一個(gè)馬上要在今年下半年發(fā)布的產(chǎn)品，那肯定是真實(shí)的東西，在這個(gè)交換機(jī)里實(shí)現(xiàn)是過(guò)去這一兩年大家都已經(jīng)比較確定的路線，發(fā)展到一定程度之后一定要通過(guò)光去做，通過(guò)共封裝的方式把光模塊省掉，把功耗降下來(lái)，這是對(duì)的趨勢(shì)。Silicon valley 在過(guò)去這五六年里，如果大家參加 Hot Chips 也能看到了很多關(guān)于共封裝、CPO 的提案。

這幾年的重點(diǎn)是說(shuō)怎么能夠把 CPO 和芯片相結(jié)合，也就是說(shuō)現(xiàn)在在網(wǎng)絡(luò)上我們已經(jīng)比較確信了，已經(jīng)產(chǎn)品化了，那在計(jì)算芯片上去做共封裝什么時(shí)候能夠?qū)崿F(xiàn)，我想隨著 Scale up 的要求越來(lái)越高，后面 Chiplet 加上 CPO 是比較明確方向。我也有一些老同事出來(lái)做 CPO，CPO 是中國(guó)未來(lái)的發(fā)展機(jī)會(huì)，因光不需要特別先進(jìn)的制程，通過(guò)高速互聯(lián)弱一點(diǎn)的芯片也能連起來(lái)，我非常認(rèn)同這個(gè)方向。

這里面還要解決生產(chǎn)關(guān)系的問(wèn)題，因?yàn)榈彩谴笮托酒际峭患夜咀霾煌?Chiplet，然后不同的代際、不同的排列組合做在一起?？科渌镜?Chiplet 去封裝幾乎在大型芯片里面幾乎是沒(méi)有的，那這個(gè)生產(chǎn)關(guān)系怎么解決，特別是在標(biāo)準(zhǔn)接口沒(méi)有充分定義的情況下，是蠻難的。

剛剛劉老師講的 CXL 還不是芯片級(jí)別的，是一個(gè)服務(wù)器級(jí)別的接口，CXL 在過(guò)去五六年的發(fā)展一直也有討論，但沒(méi)有大量落地，包括 UCIE 接口大家也都在討論，大型芯片解決生產(chǎn)關(guān)系和生產(chǎn)力同樣重要，這一塊技術(shù)上是比較確定的，是值得芯片公司往前走一步的方向。

劉學(xué)：我先順著講一下生產(chǎn)關(guān)系的問(wèn)題，這個(gè)生產(chǎn)關(guān)系是做 UCIE IP 的提供者、做硅光的提供者、工藝的提供者、做 Scale up 像我們互聯(lián)通信協(xié)議的提供者以及 GPGPU 和 ASIC 的生產(chǎn)關(guān)系。

關(guān)于 CPO 這塊，昨天我和國(guó)內(nèi)做光通信的一家公司交流過(guò)，我們當(dāng)時(shí)也規(guī)劃過(guò)到后邊幾代做 CPO，英偉達(dá)起到了推動(dòng)作用，現(xiàn)在大家統(tǒng)一認(rèn)為 26 年、27 年硅光會(huì)有小批量交付，28 年到 30 年是大規(guī)模落地的時(shí)間節(jié)點(diǎn)。

現(xiàn)在做硅光工藝、設(shè)備以及解決方案的廠家都在正視起來(lái)的問(wèn)題，當(dāng)中也有一些需要改進(jìn)的點(diǎn)，像硅光和芯片結(jié)合之后形成 Scale up，中間的通信協(xié)議在這一層起到了什么作用，這當(dāng)中有對(duì)于角色的思考。現(xiàn)在 CPO 很重要，而且工藝廠家越早布局越好，尤其是大家要全面思考從做光模塊轉(zhuǎn)到 CPO 和之前是否有差異。

王康曼：那關(guān)于 GTC 的另外一個(gè)話題就是 Dynamo，我想問(wèn)一下師老師怎么看最新發(fā)布的可以大幅提高推理效率的開(kāi)源 AI 處理服務(wù)庫(kù) Dynamo？

師天麾：英偉達(dá)確實(shí)積累了很多東西，放出來(lái)挺震撼的，但是我感覺(jué)他們很多底層?xùn)|西的接口還是沒(méi)有給開(kāi)發(fā)者，所以他們可以做更激進(jìn)的優(yōu)化，包括大家應(yīng)該也知道一些庫(kù)在大部分場(chǎng)景上確實(shí)很難寫(xiě)得比英偉達(dá)更快。但這個(gè)開(kāi)放出來(lái)英偉達(dá)也能鞏固軟件生態(tài)的護(hù)城河，這也值得我們學(xué)習(xí)。

一是看他們技術(shù)設(shè)計(jì)上是怎樣的，然后就是學(xué)習(xí)一些相關(guān)思路，看能不能用來(lái)構(gòu)筑國(guó)產(chǎn)軟件生態(tài)，我們?cè)谧龅氖虑檫€是幫大家更好地用起來(lái)國(guó)產(chǎn)顯卡。我們相信未來(lái)算力國(guó)產(chǎn)化肯定是大趨勢(shì)，這個(gè)確定性是比較強(qiáng)的，所以我們會(huì)從別人的思路里學(xué)習(xí)，結(jié)合我們自己的技術(shù)和經(jīng)驗(yàn)以及國(guó)產(chǎn)顯卡的特色做一些自己的東西。

徐凌杰：我覺(jué)得 Dynamo 非常好，我和我的聯(lián)創(chuàng)都在推動(dòng)團(tuán)隊(duì)要迅速把優(yōu)秀的開(kāi)源項(xiàng)目集成到我們的產(chǎn)品中去，這個(gè)非常好，這也意味著英偉達(dá)不僅是個(gè)芯片公司，他們一直說(shuō)自己是算法、軟件公司，今天他們變成了一個(gè)基礎(chǔ)設(shè)施公司，基礎(chǔ)設(shè)施公司就是要提供一系列工具，讓大家把基礎(chǔ)設(shè)施用好，這塊代表了英偉達(dá)非常大的野心，包括從集群層面他們會(huì)有非常大的投入，Dynamo 不是一個(gè)小的基于單個(gè)芯片的項(xiàng)目，而是基于集群的調(diào)優(yōu)。這一塊還是回到商業(yè)的本質(zhì)，就是英偉達(dá)越做越多的情況下，其他跟它同類(lèi)競(jìng)爭(zhēng)的公司要怎么跟上，另外做英偉達(dá)的上下游哪些東西比較有護(hù)城河，這是很有意思的話題。

劉學(xué)：我們也會(huì)持續(xù)學(xué)習(xí)和吸收，從整個(gè)系統(tǒng)來(lái)講，我們會(huì)進(jìn)行拆解，然后看一下在國(guó)產(chǎn)芯片和整個(gè) Scale up 互聯(lián)方面的啟發(fā)，實(shí)現(xiàn)更快速地落地，然后在商業(yè)模式方面，當(dāng)前無(wú)論是硅光還是 Dynamo，英偉達(dá)都在給大家不停地講述要系統(tǒng)級(jí)設(shè)計(jì)更底層的芯片和互聯(lián)，這也是我們樂(lè)意看到的。

王康曼：英偉達(dá)的鏈確實(shí)越來(lái)越長(zhǎng)了。圓桌快結(jié)束了，我們現(xiàn)在來(lái)回答一下觀眾提問(wèn)。有觀眾問(wèn)到如何解決中小企業(yè)在私有化部署的成本門(mén)檻的問(wèn)題？看看誰(shuí)想先來(lái)回答。

師天麾：我覺(jué)得小企業(yè)的低成本部署如果對(duì)數(shù)據(jù)安全的要求沒(méi)有太多顧慮的話，確實(shí)可以去租機(jī)器甚至用 MaaS，如果數(shù)據(jù)安全這塊要求比較多，可以先花幾十萬(wàn)買(mǎi)個(gè)性能沒(méi)有那么強(qiáng)的機(jī)器，也不是非要跑 DeepSeek 滿血版，其他模型并非不能用，挺多小模型、量化、蒸餾模型也都還不錯(cuò)，先試一試對(duì)企業(yè)業(yè)務(wù)場(chǎng)景有沒(méi)有幫助，有了幫助以后再花錢(qián)買(mǎi)更好的機(jī)器，用更好的大模型更好支撐業(yè)務(wù)，就是說(shuō)前期不一定非要最好，要先判斷對(duì)企業(yè)業(yè)務(wù)是否有幫助。

徐凌杰：我非常同意，首先模型一定要對(duì)客戶(hù)有用，我們今天講 AI Infra 是圍繞算力來(lái)講的，要把算力轉(zhuǎn)換成生產(chǎn)力的話，還是有蠻多事情要做的。去年模型還沒(méi)有像 DeepSeek 那么強(qiáng)，需要做各種各樣數(shù)據(jù)方面的準(zhǔn)備，包括像 RA、Post-training，今年 DeepSeek R1 其實(shí)大部分情況下也不能直接用到業(yè)務(wù)場(chǎng)景里去，要能夠去做結(jié)合。

回到我們現(xiàn)在的商業(yè)模式來(lái)講，一是我們會(huì)往硬件方向投入更多精力，軟件要作為入口給硬件帶貨，因此做端到端的解決方案也非常關(guān)鍵。我們從去年開(kāi)始投入，也產(chǎn)生了一部分的營(yíng)收，能夠跟客戶(hù)把它的場(chǎng)景打磨出來(lái)，第一步就是保證場(chǎng)景可用，這塊跟性能沒(méi)有任何關(guān)系，是模型的效果或者基于模型做二次開(kāi)發(fā)能不能給業(yè)務(wù)帶來(lái)產(chǎn)生力，我們算法工程師，也進(jìn)行了落地。

第二步是根據(jù)具體情況，基于現(xiàn)有的硬件做調(diào)優(yōu)，達(dá)到更好的效率和性?xún)r(jià)比。第三，如果客戶(hù)對(duì)標(biāo)準(zhǔn)的硬件不滿意，部署量也比較大，我們能夠通過(guò)差異化的軟硬件相結(jié)合的產(chǎn)品有層次地提供。所以說(shuō)是從算法效果到純軟件的調(diào)優(yōu)效果，再到軟硬結(jié)合三步走的策略，去給客戶(hù)提供不同層級(jí)的方案，這和客戶(hù)體量、業(yè)務(wù)屬性都有關(guān)系。

劉學(xué)：徐老師是從算力轉(zhuǎn)化至生產(chǎn)力，我們是反過(guò)來(lái)從生產(chǎn)力轉(zhuǎn)化為算力，我們作為一家互聯(lián)通信公司，是想為國(guó)產(chǎn) GPU 或者 ASIC 提供 Scale up 的整體解決方案，包括 Switch 芯片，DeepSeek V3 對(duì) NVLink 的Switch 做了很大篇幅的描述，我們的重點(diǎn)是告訴大家，如果中小企業(yè)想提高性能，我們可以提供一些可定制的超節(jié)點(diǎn)。因?yàn)槲覀冊(cè)诤?GPU 廠商交流時(shí)， 他們也會(huì)問(wèn) 256 個(gè)節(jié)點(diǎn)怎么連，在互聯(lián)的拓?fù)湎略趺礉M足當(dāng)前 DeepSeek 這種 MoE 架構(gòu)的訓(xùn)練和推理，這個(gè)其實(shí)也是我們正在做的事情，我們專(zhuān)門(mén)有一個(gè)組拆解算法，拆解到具體的 GPU 和互聯(lián)上，看哪個(gè)互聯(lián)拓?fù)湫纬墒裁礃拥臉?shù)形或者環(huán)形結(jié)構(gòu)來(lái)加速訓(xùn)推。

王康曼：另外一個(gè)觀眾提問(wèn)光子芯片會(huì)是未來(lái)的發(fā)展趨勢(shì)嗎？光在芯片的未來(lái)技術(shù)中，包括量子芯片等不同的路徑中占什么地位？會(huì)是過(guò)渡技術(shù)還是長(zhǎng)期存在呢？

劉學(xué)：除了光子計(jì)算、量子計(jì)算還有類(lèi)腦計(jì)算，我本身也是從事類(lèi)腦計(jì)算的，有幾個(gè)說(shuō)法，第一是國(guó)際上有說(shuō)法稱(chēng)類(lèi)腦計(jì)算和量子計(jì)算是后摩爾時(shí)代的兩大解決方案，第二國(guó)內(nèi)我們也聽(tīng)到一些消息說(shuō)在 GPU 或者 ASIC 路線之外還會(huì)開(kāi)辟出其他路線，像類(lèi)腦計(jì)算、光子計(jì)算和量子計(jì)算。從這幾點(diǎn)我們可以看到，無(wú)論是從 GPU、ASIC 還是光子計(jì)算和量子計(jì)算，當(dāng)前離最終實(shí)現(xiàn)都有需要提升的地方，對(duì)此我想說(shuō)兩點(diǎn)，一是當(dāng)前的這些光子計(jì)算、量子計(jì)算相比以前的設(shè)計(jì)是否有后發(fā)優(yōu)勢(shì)，二是在整體的設(shè)計(jì)過(guò)程中，一些周邊域的工程和科學(xué)問(wèn)題是否得到解決了，這是值得關(guān)注的。

王康曼：我也分享一下，我前幾天去 GTC 約了英偉達(dá)做量子計(jì)算的專(zhuān)家交流，他們內(nèi)部覺(jué)得這塊不會(huì)很快實(shí)現(xiàn)商業(yè)化落地，他們也沒(méi)有時(shí)間表，但這塊做出來(lái)和 GPU 芯片是不違背的，可以用量子芯片去做很多模擬，然后用 GPU 做訓(xùn)練，這是他們現(xiàn)在的框架。最后快結(jié)束我想請(qǐng)問(wèn)三位老師說(shuō)一說(shuō)對(duì)于 AI Infra 這個(gè)行業(yè)的愿景。

師天麾：愿景或者公司做到哪個(gè)程度從商業(yè)化角度來(lái)說(shuō)，可能有點(diǎn)不太合適，因?yàn)檎麄€(gè)行業(yè)變化很快，但是我們始終想做的就是做最有價(jià)值的事情，優(yōu)先看有沒(méi)有給中國(guó)的 AI 生態(tài)帶來(lái)價(jià)值，要推進(jìn)整個(gè)產(chǎn)業(yè)發(fā)展，這是我們?cè)敢馊プ龅?。我們也?huì)在開(kāi)源和國(guó)產(chǎn)生態(tài)上持續(xù)投入，邀請(qǐng)更多朋友一起做更有價(jià)值、更有意義的事情，這是我們的愿景。

徐凌杰：對(duì)于做公司來(lái)講既要仰望星空，又要腳踏實(shí)地。

仰望星空就是從數(shù)據(jù)上來(lái)看，美國(guó) 2% ~ 3% 的電力用在數(shù)據(jù)中心，五年后可能是 7% ~ 9% 的電力用在數(shù)據(jù)中心，當(dāng)中很大的增量來(lái)自人工智能，這是未來(lái)非常大的機(jī)會(huì)，數(shù)據(jù)中心是承載人類(lèi)智慧精華的載體。數(shù)據(jù)中心未來(lái)可能占 10%、 20% 發(fā)電量，當(dāng)中每一點(diǎn)計(jì)算效率、軟硬件、散熱效率、集群化能力的提升、成本下降都蘊(yùn)藏著非常大機(jī)會(huì)，也是能給人類(lèi)創(chuàng)造價(jià)值的。

腳踏實(shí)地的話，未來(lái)三五年風(fēng)高浪急的局勢(shì)變化情況下，小船能夠不被打翻就是一個(gè)小愿望，能夠進(jìn)一步擴(kuò)張團(tuán)隊(duì)，把我們心中無(wú)論軟硬件產(chǎn)品還是解決方案的愿景都踏踏實(shí)實(shí)做下來(lái)，也希望得到投資人的支持。我們?cè)谏虾！⒈本?、深圳、海外都有辦公室，也在招人，歡迎大家聯(lián)系我們交流合作。

劉學(xué)：我從歷史、現(xiàn)在和未來(lái)做一個(gè)闡述，第一過(guò)去 12 年到 22 年是芯片設(shè)計(jì)也就是體系結(jié)構(gòu)設(shè)計(jì)的黃金時(shí)間，從 22 年開(kāi)始是 Transformer 以及 AI Infra 的一些提升，實(shí)際上夾雜著歷史的年輪，是夾雜著整個(gè)算力、數(shù)據(jù)和基礎(chǔ)設(shè)施體系結(jié)構(gòu)的時(shí)代，這是非常好的時(shí)代，我們做互聯(lián)、通信、GPU、ASIC、軟件以及算法都在這個(gè)舞臺(tái)上有很精彩的表現(xiàn)，但這是個(gè)有競(jìng)爭(zhēng)的時(shí)代，因?yàn)樵谌魏我粋€(gè)點(diǎn)都能看到大家在搶占賽道。這也是集成電路于國(guó)內(nèi)而言比較利好、開(kāi)放的時(shí)代。未來(lái)則面臨著三個(gè)問(wèn)題，一是算法如何引進(jìn)，二是訓(xùn)練效率如何提升，三是規(guī)模如何擴(kuò)展，這個(gè)過(guò)程中我們也看到了整個(gè) Scale up 和 Scale out 通信集群的重要性，所以我們總結(jié)就是專(zhuān)注通信、聚焦集群。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“萬(wàn)字總結(jié)：DeepSeek如何加速AI Infra變革”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對(duì)AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問(wèn)是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請(qǐng)關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！