哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來(lái)到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“多模態(tài)技術(shù)爆發(fā)元年，行業(yè)應(yīng)用如何落地？”，并學(xué)會(huì)本篇文章中所講的全部知識(shí)點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說(shuō)，現(xiàn)在就讓我們開(kāi)始這場(chǎng)激發(fā)潛能的AI學(xué)習(xí)之旅吧。

多模態(tài)技術(shù)爆發(fā)元年，行業(yè)應(yīng)用如何落地？：

近年來(lái)，多模態(tài)大模型技術(shù)發(fā)展迅速，展現(xiàn)出強(qiáng)大的視覺(jué)理解能力，顯著提升了 AIGC 的可控性，各行各業(yè)正經(jīng)歷從“人工密集型”到“AI 原生驅(qū)動(dòng)”的顛覆性變革。那么，多模態(tài)技術(shù)中面臨哪些核心技術(shù)挑戰(zhàn)？在 AIGC 技術(shù)落地過(guò)程中，會(huì)產(chǎn)生什么新的應(yīng)用場(chǎng)景？大模型的下一階段突破可能來(lái)自哪些方向？

近日 InfoQ《極客有約》X AICon 直播欄目特別邀請(qǐng)了 上海交通大學(xué)人工智能學(xué)院副教授趙波擔(dān)任主持人，和快手快意多模態(tài)模型算法負(fù)責(zé)人高歡、騰訊混元專家研究員邵帥一起，在 AICon 全球人工智能開(kāi)發(fā)與應(yīng)用大會(huì) 2025 上海站即將召開(kāi)之際，共同探討多模態(tài)大模型如何開(kāi)啟智能交互新篇章。
部分精彩觀點(diǎn)如下：

? 先訓(xùn)練一個(gè)大模型，再用它來(lái)蒸餾小模型或減少推理步數(shù)，比直接訓(xùn)練小模型或低步數(shù)模型效果更好。
? 現(xiàn)階段，比起通用模型，針對(duì)特定業(yè)務(wù)場(chǎng)景定制化的垂直領(lǐng)域模型仍是更優(yōu)選擇。
? 如果單純?yōu)榱俗非笮Ч鵁o(wú)限制地?cái)U(kuò)大模型規(guī)模，雖然可能獲得性能提升，但投入產(chǎn)出比會(huì)明顯失衡。
? 輕量級(jí)模型在處理相關(guān)性判斷和創(chuàng)意類任務(wù)時(shí)表現(xiàn)足夠出色，對(duì)于需要深度知識(shí)儲(chǔ)備和強(qiáng)推理能力的任務(wù)則需要大規(guī)模模型。

在 5 月 23-24 日將于上海舉辦的 AICon全球人工智能開(kāi)發(fā)與應(yīng)用大會(huì)上，我們特別設(shè)置了【多模態(tài)大模型創(chuàng)新實(shí)踐】專題。該專題將深入解析多模態(tài)大模型的技術(shù)原理，探討其在智能客服、智能駕駛等領(lǐng)域的創(chuàng)新應(yīng)用，展示多模態(tài)大模型如何實(shí)現(xiàn)語(yǔ)音、文本、圖像等協(xié)同交互。

查看大會(huì)日程解鎖更多精彩內(nèi)容：https://aicon.infoq.cn/2025/shanghai/schedule

以下內(nèi)容基于直播速記整理，經(jīng) InfoQ 刪減。

完整直播回放可查看：https://www.infoq.cn/video/mNVM5eqQsFsd0H4sZNrD

技術(shù)挑戰(zhàn)
趙波： 前段時(shí)間 GPT-4O 文生圖功能令人印象深刻， 從 CLIP 實(shí)現(xiàn)跨模態(tài)“圖文對(duì)齊”，到 DALL·E 掀起文生圖革命，多模態(tài)技術(shù)正打破單一感知的邊界?？焓值?AIGC 技術(shù)，讓視頻生產(chǎn)成本直降 50%。快手快意模型目前在多模態(tài)領(lǐng)域具體在探索什么方向？以及選擇探索這些”方向的原因是什么？

高歡： 快手當(dāng)前重點(diǎn)推進(jìn)的 AIGC 業(yè)務(wù)”可靈”，已具備基于文本或圖片生成視頻的核心能力。為支撐該業(yè)務(wù)，我們構(gòu)建了深度視頻理解系統(tǒng)，通過(guò)多模態(tài)模型對(duì)視頻內(nèi)容進(jìn)行語(yǔ)義解析與知識(shí)關(guān)聯(lián)，確保模型建立完整的世界知識(shí)框架。這使得用戶輸入指令時(shí)，系統(tǒng)能智能生成符合語(yǔ)義的畫面呈現(xiàn)——這種文本到視頻（T2V）模型訓(xùn)練中的多模態(tài)理解能力具有關(guān)鍵作用。

例如在數(shù)字人場(chǎng)景中，我們的多模態(tài)模型已有效提升主播與觀眾的交互體驗(yàn)；在素材剪輯場(chǎng)景中，通過(guò)精準(zhǔn)的素材定位檢索功能，顯著降低用戶創(chuàng)作門檻；同時(shí)在電商及廣告領(lǐng)域，多模態(tài)理解技術(shù)為商品展示、海報(bào)生成等環(huán)節(jié)提供核心支撐。當(dāng)前技術(shù)方向聚焦于構(gòu)建 caption 模型，包括 rephraser 與 prompt engineering 模塊，通過(guò)深化用戶意圖理解和視頻內(nèi)容解析，持續(xù)提升視頻生成模型的語(yǔ)義還原度。

趙波：近期騰訊混元大模型也在多模態(tài)理解與生成方面努力，顯著提升了內(nèi)容創(chuàng)作效率。騰訊目前在多模態(tài)領(lǐng)域具體在做什么方向呢？

邵帥： 騰訊正基于多模態(tài)基礎(chǔ)模型，研發(fā)圖像、視頻、3D 內(nèi)容生成系統(tǒng)。與單純依賴文本輸入的基礎(chǔ)模式不同，實(shí)際業(yè)務(wù)中更多采用圖生圖、圖生視頻等混合生成模式，并延伸至圖片 / 視頻 /3D 編輯、智能混剪等理解 – 生成一體化場(chǎng)景。騰訊生態(tài)的多元化內(nèi)容需求（如騰訊視頻、微信生態(tài)、游戲及廣告業(yè)務(wù)）持續(xù)驅(qū)動(dòng)技術(shù)創(chuàng)新。目前相關(guān)技術(shù)已在影視創(chuàng)作、社交內(nèi)容生產(chǎn)、游戲資產(chǎn)生成、智能廣告投放等領(lǐng)域?qū)崿F(xiàn)規(guī)模化應(yīng)用。

趙波：高歡老師是否可以分享一下快手在 caption 模型這一塊運(yùn)用的獨(dú)特技術(shù)？

高歡： 快手的技術(shù)布局聚焦多模態(tài)內(nèi)容生成領(lǐng)域，覆蓋文生圖、文生視頻、圖生圖、圖生視頻全鏈路生成能力。其技術(shù)核心在于預(yù)訓(xùn)練階段對(duì)多模態(tài)數(shù)據(jù)的深度解析——不僅需要提取基礎(chǔ)語(yǔ)義信息，同時(shí)涉及美學(xué)要素提取。相較于傳統(tǒng) caption 任務(wù)僅關(guān)注事件要素記錄，我們更強(qiáng)調(diào)通過(guò)美學(xué)維度的結(jié)構(gòu)化解析提升生成內(nèi)容質(zhì)量。

在技術(shù)實(shí)現(xiàn)層面，我們重點(diǎn)構(gòu)建了鏡頭語(yǔ)言解析能力，包括景別識(shí)別、運(yùn)鏡模式分析等影視化特征建模。通過(guò)數(shù)據(jù)標(biāo)注體系優(yōu)化與模型架構(gòu)創(chuàng)新在可控參數(shù)量級(jí)下實(shí)現(xiàn)了高精度 caption 標(biāo)注。這些結(jié)構(gòu)化描述數(shù)據(jù)為模型構(gòu)建世界知識(shí)體系提供關(guān)鍵支撐，使其能準(zhǔn)確解析用戶輸入的 prompt，最終實(shí)現(xiàn)創(chuàng)作意圖的精準(zhǔn)視覺(jué)轉(zhuǎn)化。

趙波：大家的模型是開(kāi)源、閉源？為什么選擇開(kāi)源或閉源？如果是閉源將來(lái)是否會(huì)開(kāi)源？認(rèn)為未來(lái)多模態(tài)技術(shù)會(huì)是開(kāi)源更強(qiáng)還是閉源更強(qiáng)？

邵帥： 騰訊混元團(tuán)隊(duì)認(rèn)為開(kāi)源與閉源并非對(duì)立的技術(shù)路線，而是交替引領(lǐng)行業(yè)發(fā)展的雙軌模式——開(kāi)源生態(tài)通過(guò)社區(qū)智慧加速技術(shù)迭代，閉源體系則更聚焦商業(yè)場(chǎng)景的深度優(yōu)化。

開(kāi)源模型能有效吸納開(kāi)發(fā)者社區(qū)的創(chuàng)新成果。例如我們開(kāi)源的圖像 / 視頻生成模型，已吸引大量開(kāi)發(fā)者在底層架構(gòu)上構(gòu)建 LoRA 微調(diào)模塊、ControlNet 控制流等工作流，這些衍生創(chuàng)新通過(guò)技術(shù)反哺持續(xù)增強(qiáng)原始模型能力；中長(zhǎng)尾業(yè)務(wù)場(chǎng)景存在碎片化需求（如區(qū)域化營(yíng)銷素材生成、小眾內(nèi)容創(chuàng)作工具），開(kāi)源模型為中小團(tuán)隊(duì)提供了低成本試錯(cuò)路徑，待驗(yàn)證場(chǎng)景可行性后再進(jìn)行商業(yè)閉環(huán)構(gòu)建；在設(shè)計(jì)師增效工具、廣告內(nèi)容生產(chǎn)等核心場(chǎng)景，商業(yè)價(jià)值實(shí)現(xiàn)取決于技術(shù)效果與應(yīng)用適配度，而非單純依賴模型的開(kāi)源屬性。

需要強(qiáng)調(diào)的是，開(kāi)源策略實(shí)際上拓展了技術(shù)商業(yè)化的可能性邊界：當(dāng)社區(qū)開(kāi)發(fā)者基于開(kāi)源模型解決特定場(chǎng)景需求后，其驗(yàn)證成功的解決方案可通過(guò)技術(shù)集成反哺企業(yè)級(jí)產(chǎn)品，最終實(shí)現(xiàn)生態(tài)價(jià)值的正向循環(huán)。這種社區(qū)創(chuàng)新 – 商業(yè)轉(zhuǎn)化的雙向流動(dòng)機(jī)制，正是騰訊踐行技術(shù)開(kāi)放戰(zhàn)略的核心考量。

高歡： 從快手的角度來(lái)看，我們目前主要在做的事情涉及更復(fù)雜的系統(tǒng)，而非單一模型就能支持的。因此，我們與開(kāi)源社區(qū)的互動(dòng)更多以技術(shù)分享為主。在過(guò)去一年中，我們開(kāi)源了可圖，為社區(qū)提供了相應(yīng)的技術(shù)輸出。此外，在可靈的開(kāi)發(fā)過(guò)程中，我們也整理了一些效果較好的技術(shù)方案，并將其開(kāi)源，同時(shí)發(fā)表了相關(guān)論文。

關(guān)于開(kāi)源與閉源的選擇，我們認(rèn)為兩者各有優(yōu)勢(shì)。但目前，我們的核心目標(biāo)是為客戶提供更完善的服務(wù)，因此整個(gè)系統(tǒng)仍以閉源為主?，F(xiàn)階段，我們更專注于優(yōu)化系統(tǒng)架構(gòu)，因此尚未計(jì)劃將核心業(yè)務(wù)開(kāi)源。

趙波： 我們作為高校實(shí)驗(yàn)室當(dāng)然是擁抱開(kāi)源的，從模型、代碼到數(shù)據(jù)都是完全開(kāi)源的。

趙波：多模態(tài)理解和生成的區(qū)別？以及結(jié)合點(diǎn)？有沒(méi)有什么融合趨勢(shì)？

邵帥： 我認(rèn)為一個(gè)非常重要的結(jié)合場(chǎng)景是：如何利用理解模型來(lái)提升生成模型的性能。從技術(shù)實(shí)現(xiàn)上，可以將其分為訓(xùn)練前、訓(xùn)練中、訓(xùn)練后三個(gè)階段。

訓(xùn)練前，理解模型至少可以發(fā)揮兩個(gè)作用：數(shù)據(jù)清洗和數(shù)據(jù)標(biāo)注。我們的實(shí)踐經(jīng)驗(yàn)表明，數(shù)據(jù)質(zhì)量與生成效果呈正相關(guān)，因此我們?cè)谶@一環(huán)節(jié)投入了大量?jī)?yōu)化工作。訓(xùn)練過(guò)程中，強(qiáng)化學(xué)習(xí)是一個(gè)關(guān)鍵能力，而強(qiáng)化學(xué)習(xí)通常依賴獎(jiǎng)勵(lì)模型，而獎(jiǎng)勵(lì)模型本身就是一個(gè)理解模型。

訓(xùn)練后，生成模型的應(yīng)用可以進(jìn)一步分為生成前和生成后兩個(gè)階段：生成前，目前常用的方法是 prompt rewriting。我們發(fā)現(xiàn)，許多用戶輸入的 prompt 較為簡(jiǎn)單，通過(guò)優(yōu)化用戶的原始 prompt，可以顯著提升輸出質(zhì)量。生成后，我們也在探索多種優(yōu)化手段，比如 test-time scaling；我們也會(huì)做 post-filtering，例如，在某些場(chǎng)景下，我們可能一次性生成 10 張圖，但僅返回其中 4 張質(zhì)量最佳的結(jié)果給用戶。

目前，我們已經(jīng)觀察到生成與理解一體化的明顯趨勢(shì)，并且這一進(jìn)展可能會(huì)比預(yù)期更快。如果這類一體化模型能結(jié)合強(qiáng)大的語(yǔ)言模型，還能復(fù)用其知識(shí)和推理能力，進(jìn)一步提升生成效果。

高歡： 我們認(rèn)為模型架構(gòu)并非當(dāng)前最重要的考量因素，關(guān)鍵還是在于技術(shù)路線的選擇和應(yīng)用目標(biāo)。例如，在 GPT-4o 的技術(shù)方向上，趙老師團(tuán)隊(duì)此前發(fā)表的 EMU-3 論文已經(jīng)驗(yàn)證了相關(guān)技術(shù)路線的可行性。我們團(tuán)隊(duì)主要從 Diffusion 模型的角度進(jìn)行探索。Diffusion 模型非常依賴對(duì)用戶意圖的理解，以及多模態(tài)信息的處理能力。雖然傳統(tǒng)觀點(diǎn)認(rèn)為自回歸模型更適合理解任務(wù)，Diffusion 模型更適合生成任務(wù)，但我們認(rèn)為未來(lái)應(yīng)該以實(shí)際應(yīng)用效果為導(dǎo)向。

趙波：多模態(tài)技術(shù)中，處理不同模態(tài)數(shù)據(jù)（如視頻、圖像、文本）時(shí)，分別面臨的核心技術(shù)挑戰(zhàn)是什么？

邵帥： 目前最核心的難題在于多模態(tài)對(duì)齊與融合的問(wèn)題。不同模態(tài)數(shù)據(jù)在數(shù)據(jù)結(jié)構(gòu)上都存在顯著差異，這種根本性的差異導(dǎo)致我們需要解決兩個(gè)關(guān)鍵技術(shù)難點(diǎn)：一方面是如何設(shè)計(jì)通用的 tokenizer 來(lái)實(shí)現(xiàn)跨模態(tài)的統(tǒng)一表征，另一方面是如何建立有效的模態(tài)對(duì)齊機(jī)制來(lái)實(shí)現(xiàn)異構(gòu)數(shù)據(jù)間的語(yǔ)義關(guān)聯(lián)。

在實(shí)際應(yīng)用過(guò)程中，我們還面臨著數(shù)據(jù)平衡的挑戰(zhàn)。當(dāng)訓(xùn)練數(shù)據(jù)中某一模態(tài)占據(jù)優(yōu)勢(shì)時(shí)，往往會(huì)導(dǎo)致其他模態(tài)的性能出現(xiàn)退化。此外，在多任務(wù)學(xué)習(xí)場(chǎng)景下，當(dāng)模型需要同時(shí)處理多種不同類型的任務(wù)時(shí)，經(jīng)常會(huì)出現(xiàn)任務(wù)之間的相互干擾問(wèn)題，以及計(jì)算資源如何合理分配的難題。

高歡： 與靜態(tài)圖像不同，視頻是由連續(xù)幀構(gòu)成的時(shí)序數(shù)據(jù)，這對(duì)當(dāng)前受限于上下文窗口的自回歸大語(yǔ)言模型提出了更高要求。目前常見(jiàn)的解決方案包括幀采樣、降低分辨率增加幀數(shù)，或是采用 token merge 技術(shù)來(lái)壓縮視覺(jué) token。但每種方法都不可避免地會(huì)損失部分信息，這種信息損耗在進(jìn)行深度多模態(tài)理解時(shí)尤為關(guān)鍵。

作為短視頻平臺(tái)，我們每天都需要處理海量的新數(shù)據(jù)，這帶來(lái)了熱門概念快速更迭的問(wèn)題。一個(gè)今天爆火的舞蹈可能明天就過(guò)時(shí)了，而訓(xùn)練一個(gè)模型往往也需要一整天時(shí)間，這就導(dǎo)致模型剛訓(xùn)練完就可能面臨失效的風(fēng)險(xiǎn)。為了解決這個(gè)問(wèn)題，我們探索了 RAG 等技術(shù)方案，以及輕量級(jí)訓(xùn)練方法來(lái)快速融入新概念。

短視頻數(shù)據(jù)還呈現(xiàn)出獨(dú)特的靜態(tài)特征：平臺(tái)上大量視頻包含特效、突破物理規(guī)律的創(chuàng)意內(nèi)容，這些與真實(shí)世界的物理規(guī)律存在顯著差異。雖然傳統(tǒng)訓(xùn)練方法難以準(zhǔn)確理解這類內(nèi)容，但它們恰恰是文本生成視頻中最具價(jià)值的部分。

這些技術(shù)挑戰(zhàn)最終都指向推理成本的增加。為了處理更長(zhǎng)的視頻序列，我們需要引入更多幀和思維鏈，這直接導(dǎo)致推理時(shí)間延長(zhǎng)。同時(shí)，某些場(chǎng)景下小模型完全無(wú)法勝任，必須使用大模型并經(jīng)過(guò)專門訓(xùn)練才能達(dá)到可用水平。

趙波： 我們課題組目前專注于長(zhǎng)視頻理解大模型的研究，核心要解決的問(wèn)題是如何高效提取和壓縮視頻中的信息。正如高歡老師提到的，視頻數(shù)據(jù)最大的挑戰(zhàn)在于其冗余性——長(zhǎng)視頻會(huì)產(chǎn)生海量的 token。我們近期完成的 Video-XL 和 Video-XL-Pro 兩項(xiàng)工作，分別從兩個(gè)維度進(jìn)行了技術(shù)創(chuàng)新：一是充分利用大語(yǔ)言模型自身的 token 壓縮能力，二是從源頭壓縮視覺(jué) tokenizer 產(chǎn)生的 token 數(shù)量。

趙波：多模態(tài)訓(xùn)練是否缺數(shù)據(jù)？如何應(yīng)對(duì)？

邵帥： 我們始終面臨著數(shù)據(jù)不足、標(biāo)注質(zhì)量欠佳、美學(xué)標(biāo)準(zhǔn)不達(dá)標(biāo)以及多樣性匱乏等挑戰(zhàn)。在策略上，我們采用”先多后精”的技術(shù)路線：前期收集海量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練模型訓(xùn)練，同時(shí)建立完整的數(shù)據(jù)清洗和標(biāo)注管線。

我們將數(shù)據(jù)分為銅標(biāo)、銀標(biāo)、金標(biāo)三個(gè)等級(jí)，形成金字塔式的數(shù)據(jù)體系。對(duì)于精品數(shù)據(jù)，我們不僅要關(guān)注基礎(chǔ)質(zhì)量，還要考量美學(xué)價(jià)值和具體任務(wù)適配性。雖然圖文匹配和文生圖數(shù)據(jù)相對(duì)容易獲取，但編輯類任務(wù)的數(shù)據(jù)卻十分稀缺。以草圖生圖任務(wù)為例，構(gòu)建草圖與完整圖片的配對(duì)數(shù)據(jù)就極具挑戰(zhàn)性。為此，我們廣泛采用合成數(shù)據(jù)和構(gòu)造方法。例如，讓人根據(jù)完整圖片繪制草圖要比反向操作容易得多。

最近我們還面臨新的挑戰(zhàn)：訓(xùn)練數(shù)據(jù)中混入了 AI 生成內(nèi)容，這些數(shù)據(jù)的鑒別難度很高，一旦混入訓(xùn)練集就可能污染整個(gè)訓(xùn)練流程，這比以往的數(shù)據(jù)問(wèn)題更加棘手。

高歡： 當(dāng)前高質(zhì)量數(shù)據(jù)和垂直領(lǐng)域數(shù)據(jù)都存在嚴(yán)重短缺。垂直數(shù)據(jù)往往依賴現(xiàn)有業(yè)務(wù)場(chǎng)景的積累，但新業(yè)務(wù)開(kāi)發(fā)時(shí)又恰恰缺乏這些數(shù)據(jù)，形成了一個(gè)典型的”先有雞還是先有蛋”的困境。為此我們不得不投入大量精力來(lái)人工構(gòu)造訓(xùn)練數(shù)據(jù)，整個(gè)過(guò)程相當(dāng)復(fù)雜耗時(shí)。

從實(shí)踐數(shù)據(jù)來(lái)看，當(dāng)前 LLM 訓(xùn)練規(guī)模已達(dá)數(shù)萬(wàn)億 token 級(jí)別，而多模態(tài)模型即便算上主流訓(xùn)練案例，整體 token 量級(jí)仍相差一個(gè)數(shù)量級(jí)。換算成樣本數(shù)量的話，差距就更為明顯。目前多模態(tài)數(shù)據(jù)不僅總量不足，還存在嚴(yán)重的分布不均衡問(wèn)題。開(kāi)源數(shù)據(jù)集中的樣本往往過(guò)于”精致”而缺乏多樣性，這導(dǎo)致很多開(kāi)源模型難以直接應(yīng)用于工業(yè)場(chǎng)景的具體任務(wù)。

趙波：在兩家的多模態(tài)模型中是否已經(jīng)用了基于用戶反饋的強(qiáng)化學(xué)習(xí)？是否有顯著的性能提升？

邵帥： 在用戶反饋方面，我們發(fā)現(xiàn)評(píng)價(jià)標(biāo)準(zhǔn)與用戶偏好之間存在顯著差異。對(duì)于明顯的 Badcase，比如三腿六指、動(dòng)作不自然等問(wèn)題，大家容易達(dá)成共識(shí)。但在美學(xué)偏好等主觀評(píng)價(jià)上，比如人物形象是否好看，往往難以形成統(tǒng)一標(biāo)準(zhǔn)。為此，我們開(kāi)發(fā)了通用美學(xué)和人像美學(xué)的評(píng)估體系，通過(guò)建立數(shù)據(jù)標(biāo)準(zhǔn)和標(biāo)注算子，在強(qiáng)化學(xué)習(xí)中引入這些”軟性”指標(biāo)，顯著提升了生成內(nèi)容的美學(xué)質(zhì)量。

在廣告等業(yè)務(wù)場(chǎng)景中，我們嘗試直接利用 CTR、CVR 等業(yè)務(wù)指標(biāo)作為優(yōu)化目標(biāo)。每張投放的生成圖片都能獲得真實(shí)的用戶反饋數(shù)據(jù)，這為我們提供了直接的優(yōu)化信號(hào)。

高歡： 從對(duì)話系統(tǒng)的角度來(lái)看，用戶反饋的應(yīng)用存在一些特殊考量。特別是在開(kāi)放域?qū)υ拡?chǎng)景中，很多時(shí)候回答并沒(méi)有絕對(duì)的對(duì)錯(cuò)之分。雖然簡(jiǎn)單回答”不知道”在技術(shù)上是準(zhǔn)確的，但這會(huì)直接終止對(duì)話。為了維持更自然的對(duì)話體驗(yàn)，我們會(huì)分析哪些回復(fù)能促使用戶繼續(xù)交流，并以此作為正向反饋信號(hào)。這種優(yōu)化既包括在線實(shí)時(shí)調(diào)整，也包含離線模型迭代。

在快手的具體業(yè)務(wù)中，強(qiáng)化學(xué)習(xí)的應(yīng)用場(chǎng)景非常豐富。特別是在那些”左右都算對(duì)”但存在業(yè)務(wù)偏好的場(chǎng)景，RLHF 發(fā)揮著重要作用。而在 caption 生成這類任務(wù)上，我們主要采用 DPO 方法，通過(guò) reward model 來(lái)優(yōu)化模型表現(xiàn)。

我們發(fā)現(xiàn)視頻理解模型常犯兩個(gè)典型錯(cuò)誤：一是事件順序錯(cuò)亂，二是過(guò)度冗長(zhǎng)的描述。針對(duì)順序問(wèn)題，我們主動(dòng)構(gòu)造負(fù)樣本，通過(guò)交換事件順序來(lái)訓(xùn)練模型；針對(duì)過(guò)度描述問(wèn)題，DPO 能有效控制模型在適當(dāng)時(shí)機(jī)停止生成。

趙波：在多模態(tài)領(lǐng)域前沿探索方面，目前有哪些研究熱點(diǎn)？

趙波： 去年我們重點(diǎn)研究了視頻理解大模型，發(fā)現(xiàn)現(xiàn)有多模態(tài)模型雖然能較好處理圖像文本和短視頻（通過(guò)拆幀方式），但對(duì)于小時(shí)級(jí)長(zhǎng)視頻的理解能力仍然有限。特別是在算力受限情況下，處理長(zhǎng)視頻的海量 token 和復(fù)雜時(shí)序信息更具挑戰(zhàn)性。

近期我們轉(zhuǎn)向研究多模態(tài)大模型的空間和時(shí)間感知能力。我們開(kāi)發(fā)了一個(gè)新的 Benchmark：STI-Bench，系統(tǒng)評(píng)估了主流開(kāi)源和閉源模型在三維空間感知及時(shí)間理解方面的表現(xiàn)。該評(píng)測(cè)涵蓋封面場(chǎng)景、室內(nèi)場(chǎng)景和室外場(chǎng)景三種環(huán)境，重點(diǎn)考察模型對(duì)物體位置、運(yùn)動(dòng)軌跡等定量的時(shí)空關(guān)系的理解能力。

高歡： 從實(shí)際應(yīng)用來(lái)看，當(dāng)前多模態(tài)模型在空間方位理解普遍存在不足，這對(duì) AIGC 應(yīng)用是致命問(wèn)題——當(dāng)用戶要求”左手動(dòng)”時(shí)若模型錯(cuò)誤生成”右手動(dòng)”，就會(huì)直接導(dǎo)致客訴。

長(zhǎng)視頻理解是我們另一個(gè)重點(diǎn)方向，存在兩種典型情況：一種是內(nèi)容簡(jiǎn)單的長(zhǎng)視頻，只需簡(jiǎn)短描述；另一種是信息密集的長(zhǎng)視頻，需要準(zhǔn)確捕捉復(fù)雜運(yùn)動(dòng)、事件序列、背景元素和美學(xué)特征, 目前還沒(méi)有模型能在不損失時(shí)空精度的情況下完全處理這種復(fù)雜信息。近期涌現(xiàn)的 VideoChat-R1、Kimi-VL 等工作，以及從選擇題評(píng)分?jǐn)U展到 caption 生成的研究方向，都顯示出這個(gè)領(lǐng)域正在被賦予新的使命。

邵帥： 在強(qiáng)化學(xué)習(xí)方面，我們重點(diǎn)研究如何更好地對(duì)齊人類美學(xué)偏好，優(yōu)化生成內(nèi)容的質(zhì)量。同時(shí)，我們也在深入探索指令遵循能力的提升，包括利用自回歸模型完成各類編輯任務(wù)，實(shí)現(xiàn) ID、風(fēng)格、文本等多維度的可控生成，以及引入姿態(tài)、音頻等額外控制條件來(lái)驅(qū)動(dòng)數(shù)字人生成等應(yīng)用場(chǎng)景。

在視頻生成領(lǐng)域，我們發(fā)現(xiàn)當(dāng)前主流模型大多只能生成 4-5 秒的短視頻片段，而實(shí)際業(yè)務(wù)往往需要 3 分鐘以上的長(zhǎng)視頻生成能力。此外，推理速度的優(yōu)化也是關(guān)鍵問(wèn)題，過(guò)長(zhǎng)的生成時(shí)間不僅影響用戶體驗(yàn)，還會(huì)顯著增加推理成本。這些研究方向既涉及核心算法突破，也直接關(guān)系到技術(shù)落地的可行性。

行業(yè)落地應(yīng)用
趙波：在提升多模態(tài)模型的效率（如降低計(jì)算成本、加速推理）方面，兩位認(rèn)為當(dāng)前最值得關(guān)注的技術(shù)路徑是什么？

高歡： 由于不同業(yè)務(wù)場(chǎng)景的需求差異很大，快手目前還沒(méi)有一個(gè)統(tǒng)一的多模態(tài)模型能夠覆蓋所有應(yīng)用場(chǎng)景?，F(xiàn)階段我們主要采用兩種技術(shù)路線：一是直接訓(xùn)練小模型，二是通過(guò)大模型蒸餾小模型，以獲得符合特定業(yè)務(wù)需求的能力。

近期我們重點(diǎn)關(guān)注 token 壓縮技術(shù)，包括 token merge、token fusion 等技術(shù)方向。在一些評(píng)測(cè)中我們發(fā)現(xiàn)，即使去除 70-80% 的 token，模型性能仍能保持穩(wěn)定。在實(shí)際業(yè)務(wù)場(chǎng)景中也驗(yàn)證了這一規(guī)律：對(duì)于那些不需要精細(xì)細(xì)節(jié)處理的任務(wù)，采用激進(jìn)的 token 壓縮方案可以大幅縮短推理窗口。當(dāng)推理窗口縮減至原來(lái)的 1/4 時(shí)，推理性能可獲得成倍提升。

此外，我們也借鑒了語(yǔ)言模型領(lǐng)域的成功經(jīng)驗(yàn)，如投機(jī)采樣等技術(shù)。通過(guò)小模型來(lái)輔助優(yōu)化推理過(guò)程，可以顯著降低部署成本。

邵帥： 目前我們主要關(guān)注兩個(gè)技術(shù)方向：首先是編解碼器的效率優(yōu)化，通過(guò)開(kāi)發(fā)更高效率的編碼器，可以在幾乎不損失模型效果的前提下實(shí)現(xiàn)數(shù)倍的效率提升，這本質(zhì)上類似于一個(gè)無(wú)損壓縮問(wèn)題。另一個(gè)重要方向是模型蒸餾技術(shù)，特別是針對(duì) Diffusion 模型步數(shù)過(guò)長(zhǎng)的優(yōu)化。以標(biāo)準(zhǔn) 100 步的模型為例，如果能成功蒸餾到 10 步，就能獲得 10 倍的效率提升。

我們的實(shí)踐經(jīng)驗(yàn)表明，先訓(xùn)練一個(gè)大模型，再用它來(lái)蒸餾小模型或減少推理步數(shù)，這種方案比直接訓(xùn)練小模型或低步數(shù)模型效果更好，這種”先大后小”的蒸餾策略已經(jīng)成為我們提升模型效率的重要手段。

趙波：面對(duì)定制化的模型需求，我們應(yīng)該直接訓(xùn)練垂直領(lǐng)域模型，還是應(yīng)該訓(xùn)練通用模型？實(shí)際應(yīng)用中有什么優(yōu)劣嗎？

高歡： 現(xiàn)階段來(lái)看，定制化的垂直領(lǐng)域模型仍是更優(yōu)選擇。雖然未來(lái)或許能通過(guò)一個(gè)通用模型（all in one）完成這類任務(wù)，但這與前述推理成本問(wèn)題密切相關(guān)。目前，我們的業(yè)務(wù)算法團(tuán)隊(duì)已能通過(guò)微調(diào)或上下文學(xué)習(xí)結(jié)合特定指令 / 小樣本等方式，高效構(gòu)建精致的定制模型。

邵帥： 這兩類模型將會(huì)共存并各自發(fā)揮價(jià)值，雖然從純效果指標(biāo)來(lái)看，通用模型的理論上限更高，但實(shí)際業(yè)務(wù)落地時(shí)需要面對(duì)諸多現(xiàn)實(shí)考量。

首先在數(shù)據(jù)層面，通用模型要在特定任務(wù)達(dá)到最佳表現(xiàn)通常需要海量數(shù)據(jù)支撐，而實(shí)際業(yè)務(wù)中很多長(zhǎng)尾場(chǎng)景恰恰缺乏足夠數(shù)據(jù)。這類場(chǎng)景更適合采用小樣本學(xué)習(xí)或上下文學(xué)習(xí)等技術(shù)方案。反觀中長(zhǎng)尾業(yè)務(wù)，通用模型憑借其優(yōu)異的泛化能力往往能取得不錯(cuò)效果。而對(duì)于那些數(shù)據(jù)充足的頭部業(yè)務(wù)場(chǎng)景，針對(duì)性地進(jìn)行模型精調(diào)往往能帶來(lái)顯著的效果提升。

另一個(gè)關(guān)鍵因素是推理效率。經(jīng)過(guò)專門優(yōu)化的垂直模型可以壓縮到極小規(guī)模，其推理速度相較通用模型甚至能有 1-2 個(gè)數(shù)量級(jí)的提升。這種性能優(yōu)勢(shì)在實(shí)時(shí)性要求高的場(chǎng)景尤為重要。

基于這些觀察，我們通常采用”先通用后定制”的漸進(jìn)策略：新業(yè)務(wù)場(chǎng)景可先嘗試通用模型方案，待驗(yàn)證效果并積累足夠數(shù)據(jù)后，再評(píng)估是否需要轉(zhuǎn)向定制化方案。這種靈活務(wù)實(shí)的做法，既能控制初期投入成本，又能為后續(xù)優(yōu)化保留空間。

趙波： 我們實(shí)驗(yàn)室此前在垂直領(lǐng)域進(jìn)行過(guò)一些探索性嘗試，包括醫(yī)學(xué) CT 影像大模型以及具身智能方向——雖然嚴(yán)格來(lái)說(shuō)后者不完全屬于垂直領(lǐng)域范疇。我們?cè)鴩L試將通用大模型通過(guò)微調(diào)適配到特定領(lǐng)域，比如醫(yī)療領(lǐng)域，或在將通用模型繼續(xù)訓(xùn)練成視覺(jué)語(yǔ)言動(dòng)作模型（VLA）。在這個(gè)過(guò)程中，我們觀察到一個(gè)有趣現(xiàn)象：模型經(jīng)過(guò)垂直領(lǐng)域微調(diào)后，往往會(huì)喪失原有的通用對(duì)話能力。

這引出了一個(gè)關(guān)鍵的技術(shù)難題：如何在提升模型垂直領(lǐng)域?qū)I(yè)能力的同時(shí)，不損害其通用能力？目前來(lái)看，這仍是一個(gè)亟待解決的重要技術(shù)挑戰(zhàn)。

趙波：在技術(shù)落地的業(yè)務(wù)場(chǎng)景中，端側(cè)算力限制是否為落地的關(guān)鍵瓶頸？如何平衡效果與速度？

高歡： 從實(shí)際業(yè)務(wù)落地的角度來(lái)看，我們往往需要在模型效果和執(zhí)行效率之間尋找平衡點(diǎn)。如果單純?yōu)榱俗非笮Ч鵁o(wú)限制地?cái)U(kuò)大模型規(guī)模，雖然可能獲得性能提升，但投入產(chǎn)出比會(huì)明顯失衡，甚至出現(xiàn)負(fù)值。

目前這個(gè)矛盾在短期內(nèi)仍將顯著影響我們的技術(shù)選型。為此我們正在推進(jìn)多項(xiàng)優(yōu)化工作：包括采用更高效的視頻編碼器、實(shí)施 token 壓縮技術(shù)，以及探索大模型的 INT8 量化方案等。在某些特定場(chǎng)景中，小型模型確實(shí)難以滿足需求，這就迫使我們必須在現(xiàn)有技術(shù)條件下尋找創(chuàng)新性的解決方案。

邵帥： 一旦涉及 trade-off，就意味著這個(gè)問(wèn)題已經(jīng)不存在完美解決方案。實(shí)際決策時(shí)，我們不僅需要考慮效果、耗時(shí)和用戶體驗(yàn)，還必須將訓(xùn)練成本和推理成本納入考量范圍。

面對(duì)具體業(yè)務(wù)場(chǎng)景時(shí)，我們首先會(huì)評(píng)估是否可以采用預(yù)生成或異步處理方案。比如利用夜間潮汐資源進(jìn)行離線計(jì)算，次日反饋結(jié)果；或者提前生成內(nèi)容建立檢索庫(kù)。這種方式能巧妙規(guī)避多個(gè)矛盾：既可以使用大模型獲得最佳效果，又因異步處理無(wú)需擔(dān)心耗時(shí)問(wèn)題，同時(shí)潮汐資源還能大幅降低成本。

但對(duì)于必須實(shí)時(shí)處理的場(chǎng)景，我們通常會(huì)設(shè)計(jì)折中方案。例如同時(shí)部署極速版和高質(zhì)量版雙模型，為用戶提供選擇權(quán)：是立即獲取普通效果，還是等待更優(yōu)結(jié)果。也可以采用混合策略，先用快速模型生成初稿，再用大模型優(yōu)化最終質(zhì)量。另一個(gè)思路是允許用戶離開(kāi)當(dāng)前頁(yè)面，待結(jié)果就緒后通過(guò)推送通知召回。

在耗時(shí)優(yōu)化方面，需要區(qū)分量變與質(zhì)變。大多數(shù)技術(shù)如模型蒸餾、量化只能帶來(lái)量變改進(jìn)（如響應(yīng)時(shí)間從 5 秒縮短到 3 秒）。但在直播等特殊場(chǎng)景，耗時(shí)優(yōu)化必須達(dá)到質(zhì)變級(jí)別——任何延遲都不可接受。這種情況下，即便犧牲部分效果也要優(yōu)先保證實(shí)時(shí)性，否則整個(gè)方案就無(wú)法落地應(yīng)用。這種質(zhì)變優(yōu)化往往能解鎖全新的業(yè)務(wù)可能性。

趙波：當(dāng)模型推理速度達(dá)到實(shí)時(shí)的時(shí)候，會(huì)產(chǎn)生什么新的應(yīng)用場(chǎng)景？

邵帥： 傳統(tǒng)互聯(lián)網(wǎng)時(shí)代有著嚴(yán)格的速度標(biāo)準(zhǔn)——頁(yè)面加載超過(guò) 1 秒就會(huì)影響體驗(yàn)，服務(wù)響應(yīng)超過(guò) 3 秒就難以接受。但在當(dāng)前的大模型應(yīng)用中，30 秒甚至更長(zhǎng)的等待時(shí)間變得常見(jiàn)，在高峰時(shí)段排隊(duì)等待 30 分鐘的情況也時(shí)有發(fā)生。有趣的是，用戶對(duì)這種延遲的容忍度明顯提高了，這主要源于大模型帶來(lái)的前所未有的能力突破。雖然用戶勉強(qiáng)接受了這種體驗(yàn)降級(jí)，但顯然這種交互方式遠(yuǎn)非理想狀態(tài)，這也促使行業(yè)普遍開(kāi)始重視”first-token 延遲”的優(yōu)化工作。

如果我們能夠?qū)⒛Ｐ晚憫?yīng)速度提升到實(shí)時(shí)或秒級(jí)，整個(gè)交互模式將發(fā)生根本性變革。以文生圖或文生視頻場(chǎng)景為例，當(dāng)前的交互流程是：輸入提示詞→點(diǎn)擊生成→等待結(jié)果→評(píng)估質(zhì)量→可能需要重新生成。這種模式效率低下。未來(lái)我們完全可以實(shí)現(xiàn)更流暢的體驗(yàn)——比如在繪圖場(chǎng)景中實(shí)現(xiàn)”一筆一生成”的實(shí)時(shí)渲染，或者在對(duì)話式生成中實(shí)現(xiàn)語(yǔ)音輸入與圖像生成的同步進(jìn)行，真正做到”邊說(shuō)邊生成”。

這種革新將徹底消除傳統(tǒng)”輸入 – 等待 – 輸出”的斷點(diǎn)式交互，代之以無(wú)縫的實(shí)時(shí)體驗(yàn)。在數(shù)字人直播、智能客服、AI 面試官等需要即時(shí)反饋的場(chǎng)景中，這種變革尤為重要。我相信，這種交互革命很快就會(huì)成為行業(yè)標(biāo)配，而實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵就在于持續(xù)優(yōu)化模型的響應(yīng)速度。

高歡： 從交互方式和多模態(tài)（any to any）的角度來(lái)看，如果真能實(shí)現(xiàn)實(shí)時(shí)推理，那么《三體》小說(shuō)中描繪的許多場(chǎng)景都將成為現(xiàn)實(shí)。我們可以輕松地將腦海中的想象即時(shí)轉(zhuǎn)化為視覺(jué)可見(jiàn)的內(nèi)容，這將極大地提升我們的預(yù)判和決策能力——AI 能實(shí)時(shí)提供各種信號(hào)和依據(jù)來(lái)輔助我們做出判斷。

觀眾：數(shù)據(jù)達(dá)到多少才有必要定制，以及定制化需要的最小數(shù)據(jù)集大小應(yīng)該是什么樣？

邵帥： 關(guān)鍵考量因素在于業(yè)務(wù)價(jià)值而非單純的數(shù)據(jù)量，只要某個(gè)場(chǎng)景具備足夠高的業(yè)務(wù)價(jià)值，就有必要考慮定制化方案。至于最低數(shù)據(jù)要求，當(dāng)前已有多種輕量化定制技術(shù)，比如使用 LoRA 等方法，在圖像或視頻領(lǐng)域可能僅需幾十到一百?gòu)垬颖揪湍軉?dòng)訓(xùn)練——當(dāng)然數(shù)據(jù)越多效果越好。

我們?cè)趯?shí)際業(yè)務(wù)中探索出一種”自增強(qiáng)”方法：初始階段可能僅用 10 張圖片訓(xùn)練一個(gè)初始模型，雖然效果有限，但可以用它批量生成新樣本。假設(shè)生成 1000 張圖中僅有 10% 可用，我們就能篩選出 100 張質(zhì)量合格的圖片加入訓(xùn)練集。通過(guò)多次這樣的迭代循環(huán)，最終可以獲得數(shù)量充足且質(zhì)量達(dá)標(biāo)的定制數(shù)據(jù)集。

趙波：模型技術(shù)路線方面，做更大、和做更輕量化的模型分別有什么不同？有哪些對(duì)應(yīng)的落地場(chǎng)景？

高歡： 模型規(guī)模與能力確實(shí)存在直接關(guān)聯(lián)——更大的模型通常表現(xiàn)更優(yōu)，而輕量級(jí)模型則更適合實(shí)時(shí)業(yè)務(wù)需求。以 caption 為例，若追求極致精準(zhǔn)度，大規(guī)模模型無(wú)疑是更好的選擇；但在需要全量處理的海量數(shù)據(jù)場(chǎng)景下，輕量化模型才是更實(shí)際的選擇。

在實(shí)際應(yīng)用中，我們通常會(huì)采用分級(jí)處理策略：對(duì)于包含復(fù)雜事件或多重要素的困難樣本，調(diào)用大模型處理；而對(duì)于相對(duì)簡(jiǎn)單的常規(guī)視頻，則使用輕量模型完成。這種差異化方案能夠充分發(fā)揮不同規(guī)模模型的優(yōu)勢(shì)。

趙波：是否有某些特定的場(chǎng)景說(shuō)它一定大模型更適合一些，然后或者輕量型模型更適合一些？

高歡： 在短視頻理解任務(wù)中，我們將其劃分為幾個(gè)主要類別：創(chuàng)意類、事實(shí)類、相關(guān)性判別類等。根據(jù)我們的實(shí)踐經(jīng)驗(yàn)，輕量級(jí)模型在處理相關(guān)性判斷和創(chuàng)意類任務(wù)時(shí)表現(xiàn)足夠出色，經(jīng)過(guò)適當(dāng)訓(xùn)練即可滿足需求。然而，對(duì)于需要深度知識(shí)儲(chǔ)備和強(qiáng)推理能力的任務(wù)——如問(wèn)答類或判別類場(chǎng)景——大規(guī)模模型展現(xiàn)出明顯優(yōu)勢(shì)。特別是在內(nèi)容審核這類高風(fēng)險(xiǎn)領(lǐng)域，采用大模型往往至關(guān)重要。

邵帥： 在模型選型策略上，我們通常會(huì)從兩個(gè)關(guān)鍵維度進(jìn)行考量：首先是業(yè)務(wù)發(fā)展階段。對(duì)于尚處探索階段的新業(yè)務(wù)，由于技術(shù)成熟度不足，我們更傾向于采用性能最優(yōu)的大模型進(jìn)行可行性驗(yàn)證。只有當(dāng)模型能力確實(shí)滿足場(chǎng)景需求后，才會(huì)著手進(jìn)行模型壓縮和成本優(yōu)化，推動(dòng)方案進(jìn)入穩(wěn)定交付階段。

其次是用戶需求性質(zhì)。我們將需求劃分為”靈感激發(fā)”和”生產(chǎn)輸出”兩類：在靈感場(chǎng)景中，用戶往往需要快速生成大量參考樣本（如尋找創(chuàng)作靈感或具象化模糊概念），這時(shí)輕量快速的模型更為合適；而在確定性生產(chǎn)場(chǎng)景中（如最終成品輸出），質(zhì)量?jī)?yōu)先于速度，即便需要更長(zhǎng)的等待時(shí)間或隔日交付，用戶也愿意為更優(yōu)質(zhì)的結(jié)果買單。

觀眾：現(xiàn)在模型訓(xùn)練過(guò)程中是不是已經(jīng)遇到了很多的 AIGC 圖片，這些 AIGC 圖片是不是已經(jīng)產(chǎn)生了一些副作用？我們應(yīng)如何應(yīng)對(duì)？

高歡： 需要明確的是，AIGC 生成內(nèi)容并非沒(méi)有價(jià)值——它們特別適合用于補(bǔ)充特定概念或罕見(jiàn)元素組合的數(shù)據(jù)缺口。實(shí)際操作中，我們通過(guò)嚴(yán)格的數(shù)據(jù)預(yù)處理流程來(lái)確保內(nèi)容質(zhì)量：對(duì)于達(dá)到 100% 擬真度的 AIGC 內(nèi)容，完全可以視同真實(shí)素材使用；而對(duì)于存在瑕疵的生成內(nèi)容，通過(guò)識(shí)別篩選后，可以調(diào)整其在訓(xùn)練集中的配比。

邵帥： 在 AIGC 內(nèi)容應(yīng)用上，我們采取風(fēng)格區(qū)分的策略。對(duì)于寫實(shí)類風(fēng)格（如照片級(jí)真實(shí)感），需要特別警惕生成內(nèi)容中的 artifact 問(wèn)題——包括過(guò)度磨皮、紋理缺失、摩爾紋等典型的人工痕跡，這類瑕疵會(huì)嚴(yán)重影響模型的訓(xùn)練效果。但在非真實(shí)感渲染（NPR）領(lǐng)域，如卡通、動(dòng)漫、游戲等風(fēng)格化場(chǎng)景，AIGC 內(nèi)容經(jīng)過(guò)人工美學(xué)把關(guān)后，能有效補(bǔ)充傳統(tǒng)手繪難以覆蓋的新概念和新風(fēng)格。

趙波：在 AIGC 技術(shù)落地過(guò)程中，騰訊混元大模型在哪些關(guān)鍵業(yè)務(wù)場(chǎng)景實(shí)現(xiàn)了顯著的效率提升？

邵帥： 騰訊混元已在游戲生產(chǎn)環(huán)節(jié)實(shí)現(xiàn)了顯著的效率優(yōu)化，在 2D 概念階段，該技術(shù)已應(yīng)用于角色、皮膚、特效及場(chǎng)景的高效生產(chǎn)。同時(shí)，3D 技術(shù)也在部分游戲場(chǎng)景中落地，目前主要用于道具和簡(jiǎn)單場(chǎng)景的建模。在創(chuàng)新玩法方面，我們重點(diǎn)關(guān)注互動(dòng)影游這一游戲與影視結(jié)合的新形式。傳統(tǒng)互動(dòng)影游需要為每個(gè)敘事分支拍攝大量素材，特別是大 IP 改編作品時(shí)，召回明星補(bǔ)拍的成本極高。而通過(guò) AIGC 技術(shù)，可以實(shí)現(xiàn)人物對(duì)話和場(chǎng)景分支的動(dòng)態(tài)生成，這大大降低了制作難度。

在泛營(yíng)銷場(chǎng)景中，該技術(shù)被用于廣告素材的智能化生成，包括圖片和高轉(zhuǎn)化率的視頻內(nèi)容制作。特別是針對(duì)廣告視頻的關(guān)鍵前三秒，傳統(tǒng)方式需要投入高昂成本制作夸張畫面來(lái)吸引觀眾，而現(xiàn)在通過(guò) AIGC 技術(shù)可以快速生成創(chuàng)新內(nèi)容，同時(shí)有效避免重復(fù)或觸發(fā)消重系統(tǒng)的問(wèn)題。

趙波：快手在哪些業(yè)務(wù)場(chǎng)景有明顯的效率提升？生產(chǎn)力提升？

高歡：T2V 訓(xùn)練的收斂速度顯著加快，這主要得益于數(shù)據(jù)質(zhì)量的提升。高質(zhì)量數(shù)據(jù)讓模型能夠更好地區(qū)分容易混淆的概念，有效降低了錯(cuò)誤理解的干擾。類似的現(xiàn)象在語(yǔ)言模型訓(xùn)練中也很明顯，隨著數(shù)據(jù)質(zhì)量的提高，模型的收斂速度和在各類榜單指標(biāo)上的表現(xiàn)都有顯著提升。

未來(lái)趨勢(shì)
趙波：多模態(tài)大模型的下一階段突破可能來(lái)自哪些方向？技術(shù)、數(shù)據(jù)、應(yīng)用落地分別將會(huì)有什么樣的突破？

邵帥： 數(shù)據(jù)層面即將迎來(lái)重要突破：通過(guò)利用更多模態(tài)的數(shù)據(jù)，即使某些模態(tài)存在缺失，也能訓(xùn)練出具有更強(qiáng)指令遵循和泛化能力的模型。此外，當(dāng)前的數(shù)據(jù)清洗流程雖然提升了數(shù)據(jù)平均質(zhì)量，但也損失了大量潛在信息。未來(lái)我們需要探索如何增強(qiáng)模型的抗噪能力，從低質(zhì)量數(shù)據(jù)中提取更多信息，或通過(guò)修復(fù)技術(shù)提升數(shù)據(jù)質(zhì)量。

第二，個(gè)性化將成為關(guān)鍵發(fā)展方向。每個(gè)用戶都有獨(dú)特的興趣偏好和需求表達(dá)方式，可能是通過(guò)文本，也可能是通過(guò)交互反饋。如何為不同用戶或不同場(chǎng)景提供差異化能力，實(shí)現(xiàn)真正的”千人千面”，將是重要的發(fā)展方向。

第三，應(yīng)用層面將迎來(lái)顯著增長(zhǎng)。目前已有相對(duì)成熟穩(wěn)定的技術(shù)方案可供實(shí)際使用，不再局限于研究探索階段。同時(shí)，技術(shù)應(yīng)用的耗時(shí)和成本都大幅降低。用戶認(rèn)知也發(fā)生了重要轉(zhuǎn)變：相比一兩年前人們更多是抱著嘗鮮心態(tài)體驗(yàn)新技術(shù)，現(xiàn)在用戶對(duì)模型的能力邊界已有清晰認(rèn)知，越來(lái)越多的人開(kāi)始思考如何利用這些模型解決具體問(wèn)題，因此 2025 年必將成為 AI 應(yīng)用大規(guī)模落地的一年。

高歡： 就像語(yǔ)言模型從最初的百花齊放發(fā)展到后來(lái)的大一統(tǒng)，從單純的語(yǔ)言理解演進(jìn)到 RAG 和智能體等更復(fù)雜的應(yīng)用，多模態(tài)技術(shù)也將完整地經(jīng)歷這個(gè)過(guò)程。未來(lái)很可能會(huì)出現(xiàn)一個(gè)真正實(shí)現(xiàn)”any to any”轉(zhuǎn)換的 all in one 統(tǒng)一模型，這已經(jīng)成為行業(yè)共同努力的方向。

展望未來(lái)，像 VLA（視覺(jué)語(yǔ)言動(dòng)作）這樣的具身智能應(yīng)用將會(huì)更加豐富。從技術(shù)發(fā)展節(jié)奏來(lái)看，2023 年第一季度 GPT-3.5 的出現(xiàn)推動(dòng)了語(yǔ)言模型的快速發(fā)展，2024 年則是文本到視頻（T2V）技術(shù)突飛猛進(jìn)的一年。而今年 OpenAI 推出的圖片編輯工具，已經(jīng)展現(xiàn)出向”any to any”模型發(fā)展的趨勢(shì)。因此，我們有理由期待 2025 年可能成為”any to any”多模態(tài)技術(shù)爆發(fā)的關(guān)鍵年份。

趙波： 我們近期主要關(guān)注的方向是大模型的空間感知能力。當(dāng)前多模態(tài)模型主要聚焦于平面 2D 視覺(jué)和語(yǔ)義理解，而我們正在推動(dòng)其向三維空間感知方向發(fā)展，讓模型能夠更深入地理解和感知物理世界。在多模態(tài)生成模型方面，我們正在進(jìn)行視頻生成技術(shù)的創(chuàng)新探索，核心突破點(diǎn)在于賦予視頻生成模型記憶能力——當(dāng)模型再次進(jìn)入同一場(chǎng)景時(shí)，能夠保持生成場(chǎng)景中物體的連續(xù)性。這項(xiàng)技術(shù)突破將有效解決現(xiàn)有視頻生成中的一致性問(wèn)題，為內(nèi)容創(chuàng)作帶來(lái)新的可能性。

趙波：DeepSeek R1 模型很火，多模態(tài)模型中 Reasoning 的重要性如何？這其中的 Reasoning 是語(yǔ)言層面的更重要？還是視覺(jué)層面的更重要？以及會(huì)產(chǎn)生哪些重要應(yīng)用？

邵帥： 我有一個(gè)不太成熟的觀點(diǎn)：Diffusion 模型的推理過(guò)程與 COT 思維鏈推理具有高度相似性，兩者都是通過(guò)逐步生成的方式，從初始相對(duì)粗糙的結(jié)果出發(fā)，經(jīng)過(guò)層層迭代和優(yōu)化，最終獲得更優(yōu)質(zhì)的結(jié)果。

基于這個(gè)觀察，我認(rèn)為類似 COT 的推理過(guò)程不僅適用于純語(yǔ)言模型，在多模態(tài)模型或大一統(tǒng)模型中也同樣可行。事實(shí)上，如果采用自回歸式的建模方法，我們就能充分利用現(xiàn)有語(yǔ)言模型和多模態(tài)模型的知識(shí)儲(chǔ)備與推理能力。目前我們已經(jīng)在圖像和視頻生成的前置環(huán)節(jié)進(jìn)行實(shí)踐探索。例如，在生成過(guò)程中引入類似語(yǔ)言模型的 planning 機(jī)制——先進(jìn)行布局 layout 或草圖生成，再進(jìn)入具體的生成階段，這種方法能夠有效提升生成內(nèi)容的邏輯性和連貫性。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“多模態(tài)技術(shù)爆發(fā)元年，行業(yè)應(yīng)用如何落地？”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對(duì)AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問(wèn)是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請(qǐng)關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！