哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“??快手南開ICML新突破！雙工注意力革新多模態(tài)情感??”，并學(xué)會本篇文章中所講的全部知識點。還是那句話“不必遠征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

??快手南開ICML新突破！雙工注意力革新多模態(tài)情感??：

“情智兼?zhèn)洹笔切乱淮斯ぶ悄艿闹匾l(fā)展方向，是邁向通用人工智能的關(guān)鍵一步。在人機交互場景中，具備情智的數(shù)字人與機器人需要精準解譯多模態(tài)交互信息，深度挖掘人類內(nèi)在情感狀態(tài)，從而實現(xiàn)更具真實感與自然性的人機對話。然而，面對多模態(tài)情感數(shù)據(jù)語義的高度復(fù)雜性，如何有效建?？缒B(tài)關(guān)聯(lián)關(guān)系仍是領(lǐng)域內(nèi)亟待突破的核心挑戰(zhàn)。

針對這一技術(shù)瓶頸，快手可靈團隊與南開大學(xué)在「多模態(tài)情感理解」領(lǐng)域完成了開創(chuàng)性研究，成功定位了現(xiàn)有多模態(tài)大模型在情感線索捕捉中的關(guān)鍵短板。研究團隊從多模態(tài)注意力機制的維度切入，提出了新的模塊化雙工注意力范式，并基于此構(gòu)建了一個涵蓋感知、認知與情感能力的多模態(tài)模型‘摩達（MODA）’。該模型在通用對話、知識問答、表格處理、視覺感知、認知分析和情感理解等六大類任務(wù)的 21 個基準測試中均實現(xiàn)了顯著性能提升。此外，基于新的注意力機制，‘摩達’在角色剖析與規(guī)劃演繹等人機交互場景中表現(xiàn)出色。目前，該研究成果已被 ICML 2025 收錄，并獲選焦點論文（Spotlight，Top 2.6%）。

論文標題：MODA: MOdular Duplex Attention for Multimodal Perception, Cognition, and Emotion Understanding

論文地址：https://arxiv.org/abs/2507.04635

項目主頁：https://zzcheng.top/MODA/

模型地址：https://huggingface.co/KwaiVGI/MODA

代碼地址：https://github.com/KwaiVGI/MODA

一、研究背景
利用多種線索預(yù)測人類的情感狀態(tài)，賦予了多模態(tài)大模型更強的擬人能力 [1]?，F(xiàn)有的主流多模態(tài)大模型具有通用可泛化的注意力架構(gòu)，然而以語言為中心進行預(yù)訓(xùn)練機制導(dǎo)致其存在模態(tài)偏置，難以關(guān)注到細粒度的情感線索?；鶞蕼y試表明，現(xiàn)有方法在需要細粒度認知和情感理解的高級任務(wù)中表現(xiàn)不佳，甚至低于隨機猜測水平 [2]。例如，在二分類諷刺檢測任務(wù)中，三個最先進的多模態(tài)方法僅能達到 50:50 的識別準確率。

這一現(xiàn)象的根源在于對主導(dǎo)模態(tài)的過度關(guān)注，從而忽視了輔助模態(tài)中蘊含的細粒度線索。我們深入探究其內(nèi)在原因，重點分析了用于混合多模態(tài)線索的注意力機制。如圖 1(a) 和 (b) 所示，現(xiàn)有模型難以捕捉細粒度細節(jié)（例如角色的眼神、對話中的關(guān)鍵詞），最終導(dǎo)致情感理解的錯誤。其核心的問題是多模態(tài)大模型多個注意力層之間的注意力不一致（圖 1(c) 中跨模態(tài)的注意力差異高達 63%），即多模態(tài)注意力失調(diào)現(xiàn)象。具體表現(xiàn)為：一方面，多模態(tài)大模型的注意力分數(shù)偏向于文本模態(tài)；另一方面，注意力的逐層衰減，進一步加劇了模態(tài)間的差異。最終，不同模態(tài)之間的注意力分數(shù)差異最高可達 10 倍。

圖 1: 多模態(tài)注意力失調(diào)制約模型能力

為解決這一問題，本研究從多模態(tài)注意力機制的視角出發(fā)，指出了現(xiàn)有多模態(tài)大模型的關(guān)鍵卡點，并深入分析了其失效 / 失能的核心成因?；谏鲜鲇^察，我們提出一種模塊化的雙工注意力范式，并據(jù)此構(gòu)建了一個新一代多模態(tài)模型‘摩達’。該模型專為感知（Perception）、認知（Cognition）、情感（Emotion）等多層次任務(wù)設(shè)計，顯著提升了模型在細粒度理解、復(fù)雜規(guī)劃和交互任務(wù)上的能力。

二、多模態(tài)注意力失調(diào)問題
注意力機制通過計算多模態(tài)詞元間的相似性和掩碼來控制詞元間的交互。為了研究多模態(tài)注意力失調(diào)問題，我們在四類細粒度理解問題上進行實驗分析。

如圖 2(a) 所示，實驗結(jié)果顯示視覺內(nèi)容所分配的注意力明顯低于文本模態(tài)。這一現(xiàn)象符合預(yù)期，因為基于自回歸模型微調(diào)而來的多模態(tài)大模型，通常在處理細粒度視覺感知時面臨固有挑戰(zhàn)。此類模型的架構(gòu)設(shè)計最初主要針對文本任務(wù)優(yōu)化，因此在在擴展到多模態(tài)場景時，視覺特征受關(guān)注的程度不足。這種模態(tài)間不平衡突顯了當(dāng)前架構(gòu)中的關(guān)鍵局限性：模型在文本處理方面的能力并未平滑地轉(zhuǎn)化為同等水平的視覺處理能力。

進一步揭示，在圖 2(b) 和 (c) 中，模型跨越 32 個層級間表現(xiàn)出顯著的跨模態(tài)注意力偏差。較高層與較低層的注意力分布存在明顯不一致。具體而言，較低層通常過度關(guān)注跨模態(tài)交互，因此犧牲了有效捕捉模態(tài)內(nèi)特征的能力。這種錯位導(dǎo)致了多模態(tài)集成效果欠佳。原因在于，當(dāng)模型從低層次向高層次特征抽象過渡時，跨模態(tài)的注意力得分隨著層次加深而降低，致使視覺模態(tài)的信息在一定程度上被稀釋了。

三、模塊化雙工注意力
為克服多模態(tài)注意力失調(diào)的問題，我們提出對來自多個模態(tài)的詞元進行對齊的新方案，即模塊化雙工注意力。該范式的核心設(shè)計是將多模態(tài)注意力劃分為兩個部分：模態(tài)對齊部分和詞元焦點修正部分。如圖 3 所示，以圖像與上下文（如對話的背景和歷史消息）提示作為輸入。借助模塊化雙工注意力，得以矯正大模型中由于模態(tài)偏置而導(dǎo)致的錯誤多模態(tài)特征流。通過雙工注意力對齊和模塊化注意力掩碼以“對齊后修正”的方式修正存在缺陷的注意力分數(shù)。

圖 3: ‘摩達’網(wǎng)絡(luò)架構(gòu)

3.1 雙工注意力對齊
為了減少模態(tài)不一致性，一個直觀的解決方案是將多模態(tài)特征進行對齊。受到擴散模型中視覺 – 語言嵌入空間映射最新進展的啟發(fā) [4]，我們提出了基于 Gram 矩陣的嵌入空間基向量進行跨模態(tài)語義遷移。具體來說，根據(jù)詞元表征計算 Gram 矩陣，從中提取每個模態(tài)空間的基向量，壓縮每個模態(tài)的語義，并作為其他模態(tài)的轉(zhuǎn)移。因此，雙工注意力對齊包括 V-Aligner 和 T-Aligner，分別負責(zé)視覺和語言模態(tài)。

對于第模態(tài)，空間基是根據(jù)歸一化的Gram矩陣給出的，其中是詞元和 之間的內(nèi)積：

其中是第個模態(tài)詞元的鍵狀態(tài)，是屬于模態(tài)的詞元數(shù)量。通過包括由 Gram矩陣定義的空間基向量，可以有效捕捉詞元之間的關(guān)系，從而構(gòu)建出一個既有豐富信息又能保持數(shù)據(jù)內(nèi)在結(jié)構(gòu)的特征表示。

作為后續(xù)工作，歸一化的Gram矩陣充當(dāng)跨模態(tài)詞元轉(zhuǎn)移函數(shù)，使得來自其他模態(tài)??的詞元能夠高效地轉(zhuǎn)換到模態(tài)，作為一個核化映射函數(shù)。對齊后的詞元計算如下：

其中表示來自其他模態(tài)的值。映射后的詞元與原始詞元進一步融合，以增強所有模態(tài)之間的詞元相似性。

3.2 模塊化注意力掩碼
注意力掩碼控制詞元在變換器層之間的流動，并為多模態(tài)大模型引入位置偏差。為了更好地適應(yīng)多模態(tài)詞元序列的需求，為每個模態(tài)分配一個調(diào)節(jié)后的注意力掩碼，分為和，負責(zé)模態(tài)內(nèi)和模態(tài)間注意力：

為了緩解塌陷的注意力矩陣并防止它在詞元上過度平滑，提出一種模塊化注意力掩碼，它選擇將不必要的注意力值存儲在這些偽注意力分數(shù)中。對于每一行（即第個詞元的所有注意力分數(shù)），它可以注意到的序列長度固定為。因此，每行中將有個偽注意力分數(shù)，用于過度注意力分配。將注意力分數(shù)轉(zhuǎn)化為：

其中γ是衰減率超參數(shù)。

除了絕對位置先驗信息外，進一步引入模態(tài)位置以強制模型修正詞元在模型層間的流動。引入歸一化的 Gram 矩陣作為指標，找出哪些部分應(yīng)該攜帶模態(tài)位置先驗信息。這種分離允許更精確地控制同一模態(tài)中的詞元如何相互作用，以及它們?nèi)绾闻c來自其他模態(tài)的詞元交互。

具體來說，利用視覺和文本模態(tài)的Gram矩陣作為基向量，這里,為視覺和文本模態(tài)的歸一化Gram矩陣。

進一步利用多個模態(tài)的特征捕捉各個注意力頭的特征。這里，為注意力頭的特征維度。

然后，將各個注意力頭的基向量進行上采樣，對齊基向量與注意力圖的尺寸到，然后將上采樣后的基向量與跨模態(tài)注意力掩碼Ocross相加，得到最終的跨模態(tài)注意力掩碼。對于視覺模態(tài)注意力掩碼，用視覺基向量進行映射與下采樣，得到尺寸為的視覺模態(tài)掩碼。相似的，得到尺寸為的文本模態(tài)掩碼，最終與自模態(tài)注意力掩碼Oself相加，得到最終的自模態(tài)注意力掩碼。

四、實驗結(jié)果
實驗結(jié)果表明，通過引入模塊化雙工注意力范式，模態(tài)偏置引起的注意力失調(diào)問題得到了有效緩解，在基于此范式構(gòu)建的 80 億與 340 億參數(shù)量級多模態(tài)模型成功實現(xiàn)了性能顯著提升。該范式專為多模態(tài)大模型網(wǎng)絡(luò)架構(gòu)設(shè)計，能夠無縫替換原有注意力模塊，并有效促進多模態(tài)信息的深度融合。

①緩解多模態(tài)注意力失調(diào)： MODA 有效緩解了跨模態(tài)間的注意力差異問題。如圖 4 所示，該范式將模型各層的跨模態(tài)注意力差異率由原本的 56% 與 62% 顯著降低至 50% 與 41%。

圖 4: 模塊化雙工注意力機制在緩解多模態(tài)注意力失調(diào)問題上的效果

②性能提升：

內(nèi)容感知能力：如表 1 所示，MODA 在包含通用對話、知識問答、表格 OCR、視覺感知四大類任務(wù)（共計 16 個數(shù)據(jù)集）的內(nèi)容感知方面展現(xiàn)出明顯優(yōu)勢。

認知與情感理解能力： 如表 2 所示，MODA 在認知分析和情感理解兩大類任務(wù)（共計 5 個數(shù)據(jù)集）上的性能也得到顯著提升。

表 1：‘摩達’在通用對話、知識問答、表格 OCR、視覺感知 4 大類任務(wù)上的表現(xiàn)

表 2：‘摩達’在認知分析與情感理解 2 類任務(wù)上的表現(xiàn)

③多功能性：MODA 具備內(nèi)容感知、角色認知與情感理解的綜合能力（圖 4 提供可視化樣例）在對話場景中，MODA 精準識別用戶意圖與情感傾向，并基于角色配置文件自動適配符合場景規(guī)范的響應(yīng)策略。

圖 4：‘摩達’在內(nèi)容感知、角色認識與情感理解三個方面可視化樣例

④人機對話應(yīng)用：MODA 在人機對話場景中展現(xiàn)出強大潛力（應(yīng)用示例見圖 6）。模型可實時解析用戶的微表情、語調(diào)及文化背景特征，構(gòu)建多維人物畫像，并深度理解角色動機與情感脈絡(luò)以自動規(guī)劃對話策略。例如在心理咨詢中識別矛盾情緒并引導(dǎo)傾訴，或在虛擬偶像交互中動態(tài)調(diào)整角色臺詞風(fēng)格。這種能力突破了傳統(tǒng)規(guī)則式應(yīng)答的局限，使 AI 能夠像人類導(dǎo)演般”預(yù)判劇情走向”，在金融客服、沉浸式娛樂等領(lǐng)域?qū)崿F(xiàn)有溫度的人格化服務(wù)。

圖 6: ‘摩達’在人機對話場景中的應(yīng)用示例

MODA 已成功應(yīng)用于快手可靈數(shù)據(jù)感知項目，重點通過細粒度情感感知顯著增強了數(shù)據(jù)分析能力。在情感識別與推理任務(wù)中，MODA 展現(xiàn)出卓越的性能，有效提升了分析的精度和應(yīng)用效果，尤其是在情感變化檢測和個性化推薦任務(wù)中提升感知精度，有力支撐了可靈視頻生成產(chǎn)品的性能。

圖 7: ‘摩達’在可靈數(shù)據(jù)細粒度感知項目中的應(yīng)用示例

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“??快手南開ICML新突破！雙工注意力革新多模態(tài)情感??”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹記，精準提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！