哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來(lái)到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“多模態(tài)≠AGI？專家質(zhì)疑技術(shù)路線天花板”，并學(xué)會(huì)本篇文章中所講的全部知識(shí)點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說(shuō)，現(xiàn)在就讓我們開(kāi)始這場(chǎng)激發(fā)潛能的AI學(xué)習(xí)之旅吧。

多模態(tài)≠AGI？專家質(zhì)疑技術(shù)路線天花板：

最近生成式人工智能模型的成功讓一些人相信人工通用智能（AGI）即將到來(lái)。雖然這些模型似乎捕捉到了人類智能的本質(zhì)，但它們甚至違背了我們對(duì)智能最基本的直覺(jué)。它們之所以出現(xiàn)，并非因?yàn)樗鼈兪墙鉀Q智能問(wèn)題的深思熟慮的解決方案，而是因?yàn)樗鼈冊(cè)谖覀円延械挠布嫌行У財(cái)U(kuò)展了規(guī)模。一些人沉浸在規(guī)模擴(kuò)展的成果中，開(kāi)始相信這提供了通往 AGI 的明確路徑。最具象征意義的案例是多模態(tài)方法，這種方法使用龐大的模塊化網(wǎng)絡(luò)針對(duì)一系列模態(tài)進(jìn)行優(yōu)化，這些模態(tài)結(jié)合起來(lái)，看上去就實(shí)現(xiàn)了通用智能。

然而，我認(rèn)為這種策略在短期內(nèi)注定會(huì)失??；它不會(huì)通向能夠執(zhí)行感觀運(yùn)動(dòng)推理、運(yùn)動(dòng)規(guī)劃和社會(huì)協(xié)調(diào)等任務(wù)的，擁有人類水平的 AGI。與其試圖將很多模態(tài)粘合在一起形成一個(gè)拼湊的 AGI，我們應(yīng)該追求將具身性和與環(huán)境的互動(dòng)放在第一位的智能方法，并將以模態(tài)為中心的處理過(guò)程視為涌現(xiàn)現(xiàn)象。

脫離實(shí)體的人工通用智能定義強(qiáng)調(diào)的是通用性，但排除了我們期望 AGI 能夠解決的那些關(guān)鍵問(wèn)題空間。真正的 AGI 必須在所有領(lǐng)域都是通用的。任何完整的定義至少必須包括解決那些起源于物理現(xiàn)實(shí)的問(wèn)題的能力，例如修理汽車、解開(kāi)繩結(jié)、準(zhǔn)備食物等。正如我將在下一節(jié)討論的，解決這些問(wèn)題所需的是一種基于和物理世界類似的模型的智能形式。

大型語(yǔ)言模型如何假裝理解世界
TLDR：我首先論證 真正的 AGI 需要對(duì)世界有物理層面的理解，因?yàn)樵S多問(wèn)題不能轉(zhuǎn)化為符號(hào)操作問(wèn)題。一些人認(rèn)為，大型語(yǔ)言模型（LLM）通過(guò)預(yù)測(cè)下一個(gè) token 的方法來(lái)學(xué)習(xí)世界模型，但更有可能的是，LLM 學(xué)習(xí)的是預(yù)測(cè) token 的啟發(fā)式集合。這使它們對(duì)現(xiàn)實(shí)的理解停留在表面，并助長(zhǎng)了人們對(duì)它們智能水平的錯(cuò)誤印象。

預(yù)測(cè)下一個(gè) token 這一目標(biāo)的最令人震驚的結(jié)果是，它產(chǎn)生的 AI 模型映射出了和人類非常類似的對(duì)世界的理解，盡管它們從未像我們一樣觀察過(guò)世界。這一結(jié)果讓人們對(duì)“理解語(yǔ)言”甚至“理解世界”的定義出現(xiàn)了爭(zhēng)議——我們長(zhǎng)期以來(lái)一直認(rèn)為后者是理解語(yǔ)言的先決條件。

解釋 LLM 能力的一個(gè)來(lái)源是一種新興理論，該理論認(rèn)為它們通過(guò)預(yù)測(cè)下一個(gè) token 的方法來(lái)引出世界模型。支持這一理論的人引用了 SOTA LLM 在各種基準(zhǔn)測(cè)試上的能力、大型模型收斂到類似的內(nèi)部表示的情況，以及他們最喜歡的“語(yǔ)言反映現(xiàn)實(shí)結(jié)構(gòu)”的觀念，這一觀念至少被柏拉圖、維特根斯坦、?？潞桶？浦С帧ｋm然我通常支持大家挖掘深?yuàn)W文本以獲得研究靈感，但我擔(dān)心這個(gè)隱喻被過(guò)于字面化了。LLM 真的學(xué)習(xí)了語(yǔ)言中隱含的世界模型嗎？否則它們?cè)趺磿?huì)如此精通語(yǔ)言？

支持 LLM 世界建模假設(shè)的一個(gè)證據(jù)來(lái)源是奧賽羅論文，其中研究人員能夠基于合法移動(dòng)序列訓(xùn)練的 Transformer 模型的隱藏狀態(tài)來(lái)預(yù)測(cè)奧賽羅游戲的棋盤。然而，將這些結(jié)果推廣到自然語(yǔ)言模型會(huì)存在許多問(wèn)題。

首先，雖然奧賽羅的移動(dòng)可被證明用于推斷奧賽羅棋盤的完整狀態(tài)，但我們沒(méi)有理由相信有辦法通過(guò)語(yǔ)言描述推斷出物理世界的完整畫(huà)面。將奧賽羅游戲與物理世界的許多任務(wù)區(qū)分開(kāi)來(lái)的是，奧賽羅本質(zhì)上位于符號(hào)領(lǐng)域，只是使用物理標(biāo)記來(lái)實(shí)現(xiàn)，以便于人類玩耍。一個(gè)完整的奧賽羅游戲可以用紙和筆進(jìn)行，但人們不能用紙和筆掃地、洗碗或開(kāi)車。要解決這些任務(wù)，你需要超越人類用語(yǔ)言描述的物理世界概念。這種描述世界的概念是否編碼進(jìn)了正式的世界模型中，或者例如編碼進(jìn)了一個(gè)價(jià)值函數(shù)，還有待討論，但很明顯，物理世界中有許多問(wèn)題不能完全由符號(hào)系統(tǒng)表示并用純粹的符號(hào)操作解決。

Melanie Mitchell 最近的一篇文章中提到的另一個(gè)問(wèn)題（得到本文的支持）是有證據(jù)表明，生成模型可以在序列預(yù)測(cè)任務(wù)上取得驚人的成績(jī)，但沒(méi)法學(xué)會(huì)創(chuàng)造這些序列數(shù)據(jù)的世界模式（例如通過(guò)學(xué)習(xí)全面的特有啟發(fā)式集合來(lái)理解世界）。例如，在一篇博客文章中指出，OthelloGPT 學(xué)習(xí)了不適用于所有可能的奧賽羅游戲的序列預(yù)測(cè)規(guī)則，比如“如果 B4 的標(biāo)記在輸入字符串中沒(méi)有在 A4 之前出現(xiàn)，那么 B4 是空的?！彪m然有人可以說(shuō)世界模型具體使用何種方式來(lái)預(yù)測(cè)世界的下一個(gè)狀態(tài)并不重要，但當(dāng)這種預(yù)測(cè)反映了模型對(duì)訓(xùn)練數(shù)據(jù)的理解比模型對(duì)產(chǎn)生這些數(shù)據(jù)的底層世界的理解更好時(shí)，我就要小心了。不幸的是，這是預(yù)測(cè)下一個(gè) token 這一目標(biāo)的核心缺陷，它只尋求保留與預(yù)測(cè)下一個(gè) token 相關(guān)的信息。如果可以用比世界模型更容易學(xué)習(xí)的東西來(lái)完成這一目標(biāo)，它很可能會(huì)這樣做。

有人聲稱在沒(méi)有任何限制的情況下，預(yù)測(cè)早期符號(hào)對(duì)后期符號(hào)的影響需要像人類通過(guò)感知來(lái)理解世界那樣來(lái)對(duì)世界建模，但這是對(duì)“世界模型”這一概念的濫用。除非我們對(duì)“世界”的定義有分歧，否則我們應(yīng)該清楚，一個(gè)真正的世界模型可以在給定一系列狀態(tài)的歷史時(shí)用來(lái)預(yù)測(cè)物理世界的下一個(gè)狀態(tài)。類似的，能夠預(yù)測(cè)物理世界高保真觀察結(jié)果的世界模型，被用于人工智能的許多子領(lǐng)域，包括基于模型的強(qiáng)化學(xué)習(xí)、機(jī)器人的任務(wù)和運(yùn)動(dòng)規(guī)劃、因果世界建模，以及計(jì)算機(jī)視覺(jué)領(lǐng)域，以解決在物理現(xiàn)實(shí)中具體化的問(wèn)題。

當(dāng)大型語(yǔ)言模型（LLMs）詢問(wèn)你的人物、地點(diǎn)或事物是否比面包箱大時(shí)，它們并沒(méi)有在其潛在的下一個(gè) token 計(jì)算中運(yùn)行某種物理模擬過(guò)程。實(shí)際上，我推測(cè) LLMs 的行為并不是來(lái)自它們學(xué)習(xí)到的世界模型，而是來(lái)自對(duì)符號(hào)行為的難以理解的抽象規(guī)則的蠻力記憶，這種規(guī)則就是語(yǔ)法模型。

快速入門：

? 語(yǔ)法 是語(yǔ)言學(xué)的一個(gè)子領(lǐng)域，研究不同語(yǔ)法類別的詞匯（例如詞性）如何組合成句子，這些句子可以解析成語(yǔ)法樹(shù)。語(yǔ)法研究句子的結(jié)構(gòu)和組成它們的詞性的基本部分。
? 語(yǔ)義學(xué) 是另一個(gè)子領(lǐng)域，關(guān)注句子的字面意義，例如，將“我感到寒冷”編譯成你正在經(jīng)歷寒冷的概念。語(yǔ)義學(xué)將語(yǔ)言簡(jiǎn)化為字面意義，這是關(guān)于世界或人類經(jīng)驗(yàn)的信息。
? 語(yǔ)用學(xué) 研究物理和會(huì)話上下文對(duì)言語(yǔ)互動(dòng)的影響，比如當(dāng)有人知道你告訴他們“我感到寒冷”時(shí)應(yīng)該關(guān)閉半開(kāi)的窗戶。語(yǔ)用學(xué)涉及在推理環(huán)境和他人意圖以及隱含知識(shí)的同時(shí)解釋語(yǔ)言。

不必過(guò)分深入技術(shù)細(xì)節(jié)，有直觀的證據(jù)表明，人類有些獨(dú)立的認(rèn)知系統(tǒng)負(fù)責(zé)這些語(yǔ)言能力。人類能夠生成語(yǔ)法上正確但沒(méi)有語(yǔ)義意義的句子，例如喬姆斯基著名的句子“無(wú)色的綠色想法狂暴地睡眠”，或者語(yǔ)義上正確但語(yǔ)用層面上沒(méi)有意義的句子，例如當(dāng)被問(wèn)到“你能遞給我鹽嗎？”時(shí)，僅僅回答“是的，我可以”。

關(guān)鍵在于，正是這些不同的認(rèn)知能力融合在一起，形成了人類的語(yǔ)言理解體系。例如，“冰箱在蘋(píng)果里”這句話在語(yǔ)法上沒(méi)有錯(cuò)誤，作為“冰箱”和“蘋(píng)果”的語(yǔ)法解釋會(huì)將它們歸類為名詞短語(yǔ)，可以用來(lái)產(chǎn)生一個(gè)句子，其產(chǎn)生規(guī)則為 S → (NP “is in” NP)。然而，人類會(huì)意識(shí)到這個(gè)句子的語(yǔ)義是失敗的，嘗試將其意義與我們對(duì)現(xiàn)實(shí)的理解協(xié)調(diào)后這就很明顯了：我們知道冰箱比蘋(píng)果大，不可能被裝進(jìn)蘋(píng)果里。

但是，如果你從未感知過(guò)現(xiàn)實(shí)世界，卻仍然試圖弄清楚這個(gè)句子是否是病句，那該怎么辦？一個(gè)解決方案可能是在語(yǔ)法層面嵌入語(yǔ)義信息，例如，通過(guò)發(fā)明新的語(yǔ)法類別，NPthe fridge 和 NPthe apple，以及一個(gè)單一的新產(chǎn)生規(guī)則，防止語(yǔ)義誤用：S → (NPthe apple “is in” NPthe fridge)。雖然這種策略不再需要關(guān)于冰箱和蘋(píng)果的基于世界的常識(shí)，例如，它將需要為每個(gè)語(yǔ)義上正確的構(gòu)造制定特殊的語(yǔ)法規(guī)則……這實(shí)際上是可能的，只要有一個(gè)龐大的自然語(yǔ)言語(yǔ)料庫(kù)即可。關(guān)鍵在于，這與理解語(yǔ)義學(xué)不是同一回事，在我看來(lái)，語(yǔ)義學(xué)本質(zhì)上是理解“世界的本質(zhì)”。

意識(shí)到 LLMs 將語(yǔ)義和語(yǔ)用問(wèn)題簡(jiǎn)化為語(yǔ)法問(wèn)題，將對(duì)我們?nèi)绾慰创鼈兊闹悄墚a(chǎn)生深遠(yuǎn)的影響。人們通常將語(yǔ)言能力視為通用智能的一種代理指標(biāo)，例如，將語(yǔ)用和語(yǔ)義理解與支撐它們的人類認(rèn)知能力密切聯(lián)系起來(lái)。例如，一個(gè)看起來(lái)博學(xué)多才、在社交互動(dòng)中優(yōu)雅自如的人，很可能在持續(xù)注意力和心理理論等特質(zhì)上得分很高，這些特質(zhì)更接近于原始認(rèn)知能力的衡量標(biāo)準(zhǔn)?？偟膩?lái)說(shuō)，這些代理指標(biāo)用來(lái)評(píng)估一個(gè)人的通用智能水平是合理的，但不能拿來(lái)評(píng)估 LLM，因?yàn)?LLMs 明顯的語(yǔ)言技能可能來(lái)自完全不同的認(rèn)知機(jī)制。

重新審視苦澀的教訓(xùn)
TLDR：薩頓的苦澀教訓(xùn)有時(shí)被解釋為對(duì)人工智能結(jié)構(gòu)的任何假設(shè)都是錯(cuò)誤的。這種理解沒(méi)什么實(shí)際價(jià)值，也是一種誤解；只有當(dāng)人類深入思考智能的結(jié)構(gòu)時(shí)，才會(huì)出現(xiàn)重大進(jìn)步。盡管如此，規(guī)模至上主義者已經(jīng)暗示，多模態(tài)模型可以是一個(gè)對(duì) AGI 的結(jié)構(gòu)不可知的框架。諷刺的是，今天的多模態(tài)模型隱含地假設(shè)了個(gè)體模態(tài)的結(jié)構(gòu)以及它們應(yīng)該如何被縫合在一起，這恰恰與薩頓的苦澀教訓(xùn)相矛盾。為了構(gòu)建 AGI，我們必須要么深入思考如何統(tǒng)一現(xiàn)有的模態(tài)，要么完全放棄它們，轉(zhuǎn)而支持一個(gè)互動(dòng)的和具身的認(rèn)知過(guò)程。

導(dǎo)致大型語(yǔ)言模型（LLMs）成功的范式主要因素是規(guī)模，而不是效率。我們有效地訓(xùn)練了一萬(wàn)億只螞蟻一億年，試圖讓它們模仿一級(jí)方程式賽車的形式和功能；最終它到達(dá)了目的地，但這個(gè)過(guò)程的效率真是低得驚人。這個(gè)類比很好地捕捉了結(jié)構(gòu)主義者和規(guī)模最大化主義者之間的辯論重點(diǎn)，前者希望在人工智能系統(tǒng)中構(gòu)建“輪子”和“軸”等東西，而后者希望有更多的螞蟻、時(shí)間和 F1 賽車來(lái)訓(xùn)練。

盡管在語(yǔ)言學(xué)中進(jìn)行了幾十年的結(jié)構(gòu)主義研究，但近年來(lái)，規(guī)模最大化主義的非結(jié)構(gòu)化方法已經(jīng)造出了更好的螞蟻賽車。最近 Rich Sutton（他與 Andy Barto 因他們?cè)趶?qiáng)化學(xué)習(xí)中的工作而獲得圖靈獎(jiǎng)）在文章《苦澀的教訓(xùn)》中闡明了這一點(diǎn)。

我們應(yīng)該只構(gòu)建能夠發(fā)現(xiàn)并捕捉這種任意程度的復(fù)雜性的元方法……這些方法的核心在于它們能夠找到良好的近似值，但應(yīng)該由我們的方法，而不是我們自己來(lái)尋找這些近似值。我們希望人工智能代理能夠像我們一樣探索，而不是只納入我們已經(jīng)發(fā)現(xiàn)的內(nèi)容。

——Rich Sutton

Sutton 的論點(diǎn)是，充分利用計(jì)算資源的方法將超越浪費(fèi)計(jì)算資源的方法，任何通過(guò)歸納偏差來(lái)構(gòu)建出來(lái)的問(wèn)題解決結(jié)構(gòu)都會(huì)妨礙人工智能學(xué)習(xí)更好的解決方案。這是一個(gè)有說(shuō)服力的論點(diǎn)，我認(rèn)為有些人嚴(yán)重誤解了它，他們認(rèn)為對(duì)結(jié)構(gòu)做出任何假設(shè)都是錯(cuò)誤的。事實(shí)上，人類的直覺(jué)才是許多在 SOTA 神經(jīng)網(wǎng)絡(luò)架構(gòu)發(fā)展中的重要進(jìn)步的關(guān)鍵所在。例如，卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像中模式識(shí)別的平移不變性做出了假設(shè)，并引出了現(xiàn)代計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)領(lǐng)域研究；Transformers 的注意力機(jī)制對(duì)句子中符號(hào)之間的長(zhǎng)距離關(guān)系做出了假設(shè)，使得 ChatGPT 成為可能，幾乎讓所有人都放棄了他們的 RNNs；3D 高斯濺射對(duì)物理對(duì)象的實(shí)體性做出了假設(shè)，使其比 NeRFs 表現(xiàn)得更好。這些方法論假設(shè)可能不適用于所有可能的場(chǎng)景、圖像或 token 流，但它們適用于那些由人類策劃并對(duì)其形成結(jié)構(gòu)直覺(jué)的特定場(chǎng)景。別忘了，人類與這些數(shù)據(jù)集源頭的環(huán)境是共同進(jìn)化的。

真正的問(wèn)題是，我們?nèi)绾卧陂_(kāi)發(fā)人工通用智能（AGI）時(shí)聽(tīng)從 Sutton 的苦澀教訓(xùn)。規(guī)模最大化方法對(duì) LLMs 和 LVMs（大型視覺(jué)模型）是有效的，因?yàn)槲覀冇凶匀坏奈淖趾蛨D像數(shù)據(jù)沉積，但將規(guī)模最大化方法應(yīng)用于 AGI 將需要我們根本沒(méi)有積累過(guò)的具身數(shù)據(jù)形式。解決這一數(shù)據(jù)稀缺問(wèn)題的方案之一是將生成建模范式擴(kuò)展到多模態(tài)建?！ㄕZ(yǔ)言、視覺(jué)和行動(dòng)——希望可以通過(guò)拼合狹窄模態(tài)的通用模型來(lái)構(gòu)建通用智能。

這種方法存在多個(gè)問(wèn)題。首先，在多模態(tài)設(shè)置中，模態(tài)之間存在深刻的聯(lián)系，這些聯(lián)系在多模態(tài)設(shè)置中被人為切斷，使得概念綜合問(wèn)題變得更難解決。在實(shí)踐中，將模態(tài)聯(lián)合起來(lái)通常需要為每種模態(tài)預(yù)訓(xùn)練專用的神經(jīng)模塊，并將它們組合成一個(gè)聯(lián)合嵌入空間。在早期，這是通過(guò)推動(dòng)（語(yǔ)言、視覺(jué)、行動(dòng)）元組的嵌入收斂到相似的含義潛向量來(lái)實(shí)現(xiàn)的，這是對(duì)模態(tài)之間可能存在的關(guān)系類型的極大簡(jiǎn)化?？梢韵胂?，比如說(shuō)在不同抽象層次上描述圖像，或者用不同的物理動(dòng)作集實(shí)現(xiàn)相同的語(yǔ)言指令。這種一對(duì)多的關(guān)系表明，簡(jiǎn)單地對(duì)比嵌入的目標(biāo)并不合適。

雖然現(xiàn)代方法不再對(duì)模態(tài)應(yīng)該如何聯(lián)合做出如此嚴(yán)格的假設(shè)，但它們?nèi)匀黄毡閷⑺心B(tài)的感知（例如文本、圖像）編碼到同一個(gè)潛空間中。直觀上，這些潛空間似乎可以作為跨模態(tài)的共同概念基礎(chǔ)，類似于人類概念的空間。然而，這些潛空間并沒(méi)有清晰地捕捉到與概念相關(guān)的所有信息，而是依賴于模態(tài)特定的解碼器來(lái)充實(shí)重要細(xì)節(jié)。感知的“意義”不在于它被編碼成的向量，而在于相關(guān)解碼器為了產(chǎn)生有意義的輸出而處理這個(gè)向量的方式。只要各種編碼器和解碼器受到針對(duì)具體模態(tài)的訓(xùn)練目標(biāo)的影響，“意義”將在模態(tài)之間分散且可能不一致，尤其是會(huì)受到預(yù)訓(xùn)練結(jié)果的影響。這不是形成連貫概念的良方。

此外，目前尚不清楚當(dāng)今的模態(tài)是否適合對(duì)具身代理的觀察和行動(dòng)空間進(jìn)行適當(dāng)?shù)膭澐?。例如，將圖像和文本作為獨(dú)立的觀察流來(lái)表示，或者將文本生成和運(yùn)動(dòng)規(guī)劃作為獨(dú)立的行動(dòng)能力，并不是顯而易見(jiàn)的。人類的閱讀、視覺(jué)、說(shuō)話和移動(dòng)能力最終是由重疊的認(rèn)知結(jié)構(gòu)所引導(dǎo)的。對(duì)模態(tài)的處理方式做出結(jié)構(gòu)性假設(shè)可能會(huì)阻礙模型發(fā)現(xiàn)更基本的認(rèn)知，這種基礎(chǔ)認(rèn)知負(fù)責(zé)處理所有模態(tài)的數(shù)據(jù)。一個(gè)解決方案是將人為劃分的模態(tài)合并為統(tǒng)一的數(shù)據(jù)表示。這將鼓勵(lì)網(wǎng)絡(luò)學(xué)習(xí)能夠跨模態(tài)泛化的智能過(guò)程。直觀地說(shuō)，一個(gè)能夠像人類一樣理解視覺(jué)世界的模型——包括從人類書(shū)寫(xiě)文本到交通標(biāo)志再到視覺(jué)藝術(shù)的一切——不應(yīng)該在圖像和文本之間做出嚴(yán)重的架構(gòu)區(qū)分。視覺(jué)語(yǔ)言模型（VLMs）不能計(jì)算一個(gè)單詞中字母的數(shù)量的部分原因，是因?yàn)樗鼈兛床坏阶约赫趯?xiě)什么。

最后，從規(guī)模中學(xué)習(xí)的方法訓(xùn)練模型復(fù)制人類的概念結(jié)構(gòu)，而不是學(xué)習(xí)獨(dú)立形成新概念的通用能力。人類花費(fèi)了數(shù)十萬(wàn)年的時(shí)間提煉概念，并通過(guò)文化和語(yǔ)言將它們以模仿的形式傳遞下來(lái)。當(dāng)今的模型僅在這一過(guò)程的最終結(jié)果上進(jìn)行訓(xùn)練：即進(jìn)入語(yǔ)料庫(kù)的現(xiàn)代概念結(jié)構(gòu)。在優(yōu)化我們智能的最終產(chǎn)品時(shí)，我們忽略了這些產(chǎn)品是如何被發(fā)明和發(fā)現(xiàn)的問(wèn)題。人類有一種獨(dú)特的能力，可以從少數(shù)例子中形成持久的概念，給它們命名，類比推理等。雖然當(dāng)今模型的上下文能力可能令人印象深刻，但隨著任務(wù)變得更加復(fù)雜，更遠(yuǎn)離訓(xùn)練數(shù)據(jù)，這些能力的局限就變得越來(lái)越大。從經(jīng)驗(yàn)中形成新概念的靈活性是通用智能的基礎(chǔ)屬性，我們應(yīng)該仔細(xì)考慮它是如何產(chǎn)生的。

雖然結(jié)構(gòu)不可知的規(guī)模最大化主義成功地產(chǎn)生了通過(guò)圖靈測(cè)試的大型語(yǔ)言模型（LLMs）和大型視覺(jué)模型（LVMs），但多模態(tài)規(guī)模最大化主義方法對(duì)通用人工智能（AGI）將不會(huì)帶來(lái)類似的成果。我們應(yīng)該設(shè)計(jì)一個(gè)可以自然涌現(xiàn)對(duì)各種模態(tài)的處理方法的設(shè)置，而不是在各個(gè)模態(tài)中預(yù)設(shè)結(jié)構(gòu)。例如，我最近關(guān)于視覺(jué)理論心智的論文看到抽象符號(hào)自然地從圖像分類代理之間的通信中出現(xiàn)，模糊了文本和圖像處理之間的界限。最終，我們應(yīng)該希望盡可能多地將智能的特征重新整合在同一把傘下。然而，大規(guī)模和微調(diào)的狹義智能模型解決了很多商業(yè)用例，但這種方法是否具有真正的商業(yè)可行性還不清楚。

結(jié) 論
規(guī)模最大化主義的整體承諾是，可以通過(guò)使用狹義領(lǐng)域的通用模型將弗蘭肯斯坦式的 AGI 縫合在一起。我認(rèn)為這極不可能產(chǎn)生一個(gè)在其智能中有完整認(rèn)知的 AGI。如果我們打算繼續(xù)從模態(tài)處理過(guò)程中獲得流線型的效率，我們必須有意識(shí)地將多個(gè)模態(tài)聯(lián)合起來(lái)——理想方式是從人類直覺(jué)和經(jīng)典學(xué)科領(lǐng)域中汲取養(yǎng)分，例如某項(xiàng)來(lái)自麻省理工學(xué)院的工作?；蛘?，我們可以將學(xué)習(xí)重新定義為一個(gè)具身和互動(dòng)的過(guò)程，其中不同的模態(tài)自然地融合在一起。我們可以通過(guò)使用相同的感知系統(tǒng)處理圖像、文本和視頻，并使用相同的行動(dòng)系統(tǒng)產(chǎn)生生成文本、操縱物體和導(dǎo)航環(huán)境的行動(dòng)來(lái)實(shí)現(xiàn)這一點(diǎn)。我們將用靈活的認(rèn)知能力彌補(bǔ)效率損失。

從某種意義上說(shuō)，AGI 拼圖中最具挑戰(zhàn)性的數(shù)學(xué)部分已經(jīng)被解決：通用函數(shù)逼近器已經(jīng)出現(xiàn)了。剩下的是清點(diǎn)我們需要的函數(shù)，并確定它們應(yīng)該如何被安排成一個(gè)連貫的整體。這是一個(gè)概念問(wèn)題，而不是數(shù)學(xué)問(wèn)題。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“多模態(tài)≠AGI？專家質(zhì)疑技術(shù)路線天花板”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對(duì)AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問(wèn)是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請(qǐng)關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！