哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來(lái)到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“游戲教父 John Carmack：LLM 不是游戲的未來(lái)”，并學(xué)會(huì)本篇文章中所講的全部知識(shí)點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說(shuō)，現(xiàn)在就讓我們開(kāi)始這場(chǎng)激發(fā)潛能的AI學(xué)習(xí)之旅吧。

游戲教父 John Carmack：LLM 不是游戲的未來(lái)：

快速背景介紹
Id Software

Id Software 成立于 90 年代，作為創(chuàng)始人之一，我參與開(kāi)發(fā)了《指揮官基恩》、《德軍總部 3D》、《毀滅戰(zhàn)士》和《雷神之錘》系列。我深感自豪的是，《雷神之錘》推動(dòng)了 GPU 的發(fā)展和普及，間接促成了現(xiàn)代人工智能世界的形成。DeepMind 的 DMLab 環(huán)境也是基于《雷神之錘競(jìng)技場(chǎng)》的凈化版本構(gòu)建的。

Armadillo Aerospace

與此同時(shí)，我在 Armadillo Aerospace 工作了十年，致力于垂直起降（VTVL）火箭的研發(fā)。

Oculus

更近一些，我在 Oculus（后被 Meta 收購(gòu)）為現(xiàn)代虛擬現(xiàn)實(shí)奠定了技術(shù)基礎(chǔ)。

Keen Technologies

我還在 Meta 的時(shí)候，OpenAI 創(chuàng)始人試圖向我伸出橄欖枝。我深感榮幸，但我并非 AI 領(lǐng)域的專(zhuān)業(yè)人士。

我進(jìn)行了大量的閱讀，形成了一些關(guān)于當(dāng)前局勢(shì)的看法，并最終確定這就是我能夠參與的最重要的事情。

從系統(tǒng)工程轉(zhuǎn)向研究工作對(duì)我來(lái)說(shuō)是一個(gè)非常大的變化，但我很享受這個(gè)過(guò)程。

能與強(qiáng)化學(xué)習(xí)之父 Richard Sutton 一起工作實(shí)屬意料之外的驚喜。我之前“閱讀”的一部分內(nèi)容就是他寫(xiě)的教科書(shū)，而且讀了兩遍。我們?cè)诤芏嘤^點(diǎn)上不謀而合，但也有一些有建設(shè)性的分歧。

目前，我們的團(tuán)隊(duì)已經(jīng)有六名研究人員，他們分別來(lái)自學(xué)術(shù)界和工業(yè)界。

我原本以為自己會(huì)走向何方

不是 LLM

我有意選擇不參與 LLM 相關(guān)的工作。LLM 所取得的成就令人驚嘆，但我認(rèn)為，除了專(zhuān)業(yè)人士之外，很多人都沒(méi)有充分意識(shí)到 LLM 是如何“無(wú)所不知卻又無(wú)所學(xué)”的。

從根本上說(shuō)，我相信通過(guò)交互式體驗(yàn)流進(jìn)行學(xué)習(xí)的重要性，就像人類(lèi)和動(dòng)物所做的那樣，這與預(yù)訓(xùn)練 LLM 的“大雜燴”方法截然不同。大雜燴方法仍然可以帶來(lái)世界性的變革，但已經(jīng)有很多人在這一領(lǐng)域推進(jìn)技術(shù)前沿發(fā)展了。

盡管如此，對(duì)于基于 Transformer 的基礎(chǔ)模型可能取代傳統(tǒng)強(qiáng)化學(xué)習(xí)，我是感到疑慮的。你能要求 LLM 學(xué)習(xí)如何在一個(gè)它的訓(xùn)練集里從未見(jiàn)過(guò)的環(huán)境中有良好的表現(xiàn)嗎？即使這種方法在理論上可行，但可能極其低效，將是一個(gè)重要的“苦澀教訓(xùn)”。

游戲

鑒于我的背景，我顯然更傾向于與游戲和虛擬環(huán)境打交道。

長(zhǎng)期以來(lái)，PC 游戲一直存在超人類(lèi)水平的“機(jī)器人”，這些機(jī)器人通常用于作弊，但它們是直接通過(guò)查看游戲內(nèi)部結(jié)構(gòu)實(shí)現(xiàn)的，而不是像玩家那樣處理看到的像素。我很久以前就說(shuō)過(guò)，云游戲流媒體可以消除游戲中常見(jiàn)的多人作弊手段，因?yàn)闆](méi)有人能夠只基于像素制作出一個(gè)程序來(lái)玩游戲。如果有人能做到，他們完全有資格獲得勝利！

2013 年，DeepMind 的 Atari 項(xiàng)目就是這么做的。

單從游戲模擬器的輸出圖像來(lái)看，模型學(xué)會(huì)了如何玩好幾十款游戲，足以制作出令人印象深刻的視頻。

然而，如果你仔細(xì)觀察，會(huì)發(fā)現(xiàn)其中有很多限制條件。

文獻(xiàn)中報(bào)告的標(biāo)準(zhǔn)經(jīng)驗(yàn)量是 2 億幀，按每秒 60 幀計(jì)算，這相當(dāng)于連續(xù)玩一個(gè)多月，每天 24 小時(shí)不間斷。這與一個(gè)普通研究生在一小時(shí)內(nèi)就能學(xué)會(huì)玩游戲的表現(xiàn)相比，似乎并不那么令人印象深刻。此外，有些游戲需要更專(zhuān)業(yè)的架構(gòu)和數(shù)十億幀的經(jīng)驗(yàn)，才能接近人類(lèi)的基線水平。

但從另一面看，這就像一個(gè)嬰兒在出生后剛睜開(kāi)眼睛，一個(gè)月內(nèi)就學(xué)會(huì)了玩游戲，這聽(tīng)起來(lái)確實(shí)相當(dāng)令人印象深刻。

過(guò)去十年中，相關(guān)工作一直在繼續(xù)，但連續(xù)、高效、終身、單一環(huán)境、多任務(wù)在線學(xué)習(xí)仍然是尚未解決的問(wèn)題。一些貓和狗能夠輕松做到的事情，如今的任何一個(gè)系統(tǒng)都無(wú)法復(fù)制。

視頻

我最初的想法是，通過(guò)被動(dòng)地從帶有動(dòng)態(tài)關(guān)注焦點(diǎn)的電視內(nèi)容中學(xué)習(xí)，可以為游戲?qū)W習(xí)提供更好的基礎(chǔ)——如果你理解了物體的永恒性，那么學(xué)習(xí)電子游戲中的事件就會(huì)容易得多，而不是去分析整個(gè)幀的模式。

我的目標(biāo)是提供一個(gè)由混合被動(dòng)和交互內(nèi)容組成的虛擬學(xué)習(xí)環(huán)境，這些內(nèi)容構(gòu)成一個(gè)無(wú)限可滾動(dòng)的“視頻墻”，智能體可以根據(jù)自己的好奇心在其中探索和遷移。

失策

太底層

我是一個(gè)底層開(kāi)發(fā)者，我從用 C++ 編寫(xiě) CUDA 內(nèi)核開(kāi)始，然后用 cuBLAS，接著是 cuDNN，最后才轉(zhuǎn)向 PyTorch。我仍然關(guān)注底層實(shí)現(xiàn)的可能性，但不可否認(rèn)的是，更高層次的工具在快速實(shí)驗(yàn)方面確實(shí)非常強(qiáng)大。

避免大規(guī)模實(shí)驗(yàn)太久

花了太多時(shí)間在筆記本和本地 GPU 上，而沒(méi)有直接使用遠(yuǎn)程主機(jī)上的 Visual Studio Code。

世嘉 Master System

我最初選擇世嘉 Master System 游戲，一方面是為了在復(fù)雜度上超越 Atari 游戲，另一方面也想追求一些與眾不同，但我逐漸意識(shí)到，與大量關(guān)于 Atari 游戲的研究成果進(jìn)行比較其實(shí)具有很大的價(jià)值。

視頻可以等等

只是玩多款游戲就存在許多基礎(chǔ)性問(wèn)題，所以沒(méi)有必要把被動(dòng)的視頻理解也考慮進(jìn)來(lái)。

安下心來(lái)研究 Atari

無(wú)偏見(jiàn)且多樣化

商業(yè)游戲之所以出色，是因?yàn)樗鼈儧](méi)有受到研究人員的偏見(jiàn)的影響。當(dāng)你構(gòu)建一個(gè)專(zhuān)門(mén)的環(huán)境來(lái)測(cè)試你特別喜歡的研究想法時(shí)，你往往會(huì)不自覺(jué)地讓這個(gè)想法看起來(lái)更好。

游戲玩法的多樣性是一個(gè)很大的優(yōu)勢(shì)。為什么 Qbert 在這里停滯不前？為什么 Atlantis 在那里漸失鋒芒？為何同一技術(shù)在此地大放異彩，卻在彼地黯然失色？

缺點(diǎn)：由于舊硬件的限制，會(huì)出現(xiàn)精靈閃爍的問(wèn)題。我喜歡世嘉 Master System 模擬器的一點(diǎn)是，你可以關(guān)閉對(duì)精靈和 CPU 速度的精確模擬，這樣游戲總是運(yùn)行流暢且看起來(lái)很穩(wěn)定。

缺點(diǎn)：確定性的行為存在被惡意利用的風(fēng)險(xiǎn)。粘性動(dòng)作對(duì)于防止模擬器的確定性被利用來(lái)說(shuō)非常重要。可惜的是，Atari 100k 的測(cè)試結(jié)果是基于確定性動(dòng)作得出的。

深厚的研究歷史

我們有大量的先例可供參考。

也許強(qiáng)化學(xué)習(xí)框架并不是一個(gè)好主意——即使是幾年前開(kāi)發(fā)的東西運(yùn)行起來(lái)也可能帶來(lái)麻煩。

直接使用 ALE（Arcade Learning Environment），而不是通過(guò) Gymnasium 進(jìn)行包裝。

Atari 的問(wèn)題難道不是已經(jīng)解決了？

MEME、Muesli 或 BBF 這些最新的模型是否已經(jīng)“解決了”Atari 的問(wèn)題？

在積累了數(shù)億幀的游戲數(shù)據(jù)后，大多數(shù)游戲的得分現(xiàn)在都已接近甚至超過(guò)了人類(lèi)得分。雖然仍有改進(jìn)的空間，但我對(duì)此并不特別感興趣。

最近，針對(duì) Atari 100k 基準(zhǔn)測(cè)試的學(xué)習(xí)趨勢(shì)看起來(lái)很有趣。BBF 和 Efficient Zero 在數(shù)據(jù)效率方面取得了顯著進(jìn)步，但也存在一些限制條件。

結(jié)果波動(dòng)較大——隨機(jī)種子和隨機(jī)游戲，游戲回合長(zhǎng)度范圍很廣：完整的《Pitfall!》游戲需要 20 分鐘，即 72000 幀。

在最終評(píng)估與訓(xùn)練過(guò)程中的得分之間進(jìn)行比較時(shí)，對(duì)訓(xùn)練過(guò)程中的得分進(jìn)行平滑處理可能會(huì)導(dǎo)致偏差偏低。

在高分情境下，評(píng)估細(xì)節(jié)非常重要。以 MuZero 為例，許多隨機(jī)種子的完美《Breakout》得分令人存疑，尤其是當(dāng)采用粘性動(dòng)作機(jī)制時(shí)。

為什么不是 Pokemon 或 Minecraft？

滾動(dòng)游戲和 3D 游戲無(wú)疑會(huì)帶來(lái)新的挑戰(zhàn)，但簡(jiǎn)單的 Atari 游戲仍有許多未解決的問(wèn)題，讓事情變得更復(fù)雜并不能幫助解決這些問(wèn)題。

系統(tǒng)或游戲變得更加復(fù)雜時(shí)，研究者或玩家可能會(huì)被強(qiáng)烈吸引去查看內(nèi)部數(shù)據(jù)結(jié)構(gòu)，而不是僅僅依賴于像素來(lái)獲取信息——作弊！

現(xiàn)實(shí)并非回合制游戲

別再把 Atari 當(dāng)作一個(gè)回合制棋盤(pán)游戲來(lái)對(duì)待了，在這類(lèi)游戲中，環(huán)境會(huì)耐心等待玩家做出動(dòng)作，隨后立刻執(zhí)行并展示結(jié)果。

現(xiàn)實(shí)世界不會(huì)因你忙于處理上一個(gè)觀察結(jié)果而暫停腳步。

反轉(zhuǎn)強(qiáng)化學(xué)習(xí)軟件環(huán)境——在這種模式下，智能體主動(dòng)發(fā)起交互，而不是被動(dòng)等待環(huán)境的調(diào)用。這種設(shè)計(jì)既適用于虛擬模擬，也適用于物理環(huán)境。

單一環(huán)境

有些智能體是通過(guò)在多個(gè)環(huán)境中并行運(yùn)行來(lái)訓(xùn)練的，重要的是要明白，這比在單一環(huán)境中訓(xùn)練要容易，因?yàn)槟忝看胃聲r(shí)都能獲得更多樣化的樣本。

更大批次的運(yùn)行環(huán)境仍然能夠顯著提高學(xué)習(xí)效率，這對(duì)于訓(xùn)練人工通用智能（AGI）來(lái)說(shuō)很重要，但如果單批次運(yùn)行無(wú)法有效學(xué)習(xí)，那么算法本身可能存在問(wèn)題，我們應(yīng)該找出并解決這些問(wèn)題。

速度

第一個(gè)關(guān)鍵問(wèn)題是，你只能以你的策略能夠被評(píng)估的頻率來(lái)采取行動(dòng)。在消費(fèi)級(jí)硬件上，經(jīng)典算法的合理實(shí)現(xiàn)可以達(dá)到 15 FPS，并且可以重復(fù) 4 次動(dòng)作，但一些新的數(shù)據(jù)高效的系統(tǒng)卻慢了幾個(gè)數(shù)量級(jí)。

我喜歡 CUDA 圖。

通過(guò)使用具有不同優(yōu)先級(jí)的 CUDA 流和顯式同步，將訓(xùn)練過(guò)程與環(huán)境交互以及可能的策略工作重疊起來(lái)。

延遲

第二個(gè)關(guān)鍵問(wèn)題是，你在觀察到某個(gè)狀態(tài)后選擇的動(dòng)作，在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)都不會(huì)產(chǎn)生任何效果。值得嘗試一下那些基于網(wǎng)絡(luò)的反應(yīng)時(shí)間測(cè)試工具——你會(huì)發(fā)現(xiàn)自己的平均反應(yīng)時(shí)間超過(guò) 160 毫秒。

大多數(shù)經(jīng)典的無(wú)模型強(qiáng)化學(xué)習(xí)算法能夠很好地適應(yīng)額外的延遲，性能下降相對(duì)優(yōu)雅——在《Breakout》中下降較快，在《Ms. Pac-Man》中下降較慢。然而，許多現(xiàn)代高性能算法在動(dòng)作不能立即生效時(shí)就會(huì)崩潰，因?yàn)樗鼈兊念A(yù)測(cè)模型假設(shè)了一種類(lèi)似棋盤(pán)游戲的動(dòng)作 – 效果行為。

通過(guò)為條件動(dòng)作硬編碼一個(gè)匹配的延遲隊(duì)列，可以恢復(fù)這些算法的大部分性能，但這實(shí)際上是回避了需要解決的問(wèn)題。

你可以在大多數(shù)強(qiáng)化學(xué)習(xí)框架中只用幾行代碼就為動(dòng)作添加一個(gè)“延遲線”，我鼓勵(lì)每個(gè)人都嘗試一下，但“現(xiàn)實(shí)”當(dāng)中可能還會(huì)有其他挑戰(zhàn)。

Atari 的物理硬件

對(duì)于那些認(rèn)為完全具身的 AGI 即將實(shí)現(xiàn)的人來(lái)說(shuō)，一個(gè)現(xiàn)實(shí)的檢驗(yàn)方法是讓跳舞人形機(jī)器人拿起操縱桿，學(xué)習(xí)玩一款冷門(mén)的電子游戲。

這是 Atari 2600+ 游戲系統(tǒng)，它有一個(gè)可以對(duì)準(zhǔn)游戲機(jī)屏幕的攝像頭、伺服電機(jī)操縱桿以及一臺(tái)實(shí)時(shí)運(yùn)行強(qiáng)化學(xué)習(xí)智能體的筆記本電腦。

使用 40 年前的經(jīng)典 Atari 2600 游戲機(jī)和物理 CRT 顯示器可以避免 2600+ 系統(tǒng)中模擬器帶來(lái)的額外延遲，從而降低系統(tǒng)延遲，但這并不是挑戰(zhàn)的主要部分。

我們將開(kāi)源這項(xiàng)工作。

我們正在測(cè)試八款不同的游戲：MsPacman、Centipede、Qbert、Defender、Krull、Atlantis、UpnDown 和 Battle Zone。

許多 Atari 游戲在游戲結(jié)束后需要你按下控制臺(tái)上的重置開(kāi)關(guān)才能重新開(kāi)始游戲，但有些游戲只需按下操縱桿按鈕即可。我們可以在控制臺(tái)上再固定一個(gè)伺服電機(jī)，但已經(jīng)有足夠多的游戲可以“按下即重啟”。

攝像頭觀察

Atari 的完整分辨率僅為 160×210，但幾乎所有的研究工作都會(huì)進(jìn)一步降低分辨率，因此不需要超高分辨率的攝像頭。使用 640×480 分辨率進(jìn)行學(xué)習(xí)效果很好，但在識(shí)別 April Tags 和讀取分?jǐn)?shù)時(shí)，1920×1080 分辨率會(huì)更有幫助。

許多 USB 攝像頭會(huì)對(duì)圖像進(jìn)行 JPEG 編碼，這不僅會(huì)降低圖像質(zhì)量，還會(huì)增加延遲，應(yīng)避免使用。

攝像頭掃描與多層 CNN 處理的重疊程度也是個(gè)有趣的問(wèn)題。傳統(tǒng)的攝像頭接口會(huì)在整個(gè)圖像掃描完成后才傳輸圖像，這意味著頂部像素比底部像素“舊”了 16 毫秒。

由于攝像頭和視頻掃描不同步導(dǎo)致的掃描線問(wèn)題并不是個(gè)問(wèn)題。

你可以在沒(méi)有對(duì)屏幕進(jìn)行特殊裁剪的情況下進(jìn)行學(xué)習(xí)，但如果你想讓模型在攝像頭位置變化時(shí)保持性能，就需要識(shí)別出屏幕上對(duì)模型重要的部分。屏幕校正和 April Tags 可以幫助實(shí)現(xiàn)這一目標(biāo)。

對(duì)于標(biāo)簽識(shí)別來(lái)說(shuō)，照明可能是一個(gè)重要問(wèn)題。

操縱桿動(dòng)作

Robotroller：Khurram 設(shè)計(jì)了一個(gè)很好的系統(tǒng)，使用伺服電機(jī)來(lái)控制操縱桿。這增加了更多的延遲和行為的變異性。

機(jī)器人可靠性——多個(gè)伺服電機(jī)故障和操縱桿故障。

動(dòng)作分解問(wèn)題——Atlantis 的側(cè)移和發(fā)射。

大多數(shù) Atari 強(qiáng)化學(xué)習(xí)模型沒(méi)有將最后選擇的動(dòng)作作為新觀察的一部分，但這可能很重要。

上上下下左右左右 BA：科納米代碼不僅是一個(gè)具體的例子，也是一個(gè)可以說(shuō)明強(qiáng)化學(xué)習(xí)局限性的例子。

分?jǐn)?shù)和生命值檢測(cè)

令人感到驚訝的是，這個(gè)項(xiàng)目中最棘手的問(wèn)題竟然是可靠地讀取分?jǐn)?shù)，而這是強(qiáng)化學(xué)習(xí)算法所必需的。

自從 MNIST 數(shù)據(jù)集出來(lái)之后，這個(gè)問(wèn)題不是已經(jīng)得到解決了嗎？

你可以問(wèn)多模態(tài) LLM 截圖中的分?jǐn)?shù)是多少，它會(huì)告訴你的。

我們有幾種不同的分?jǐn)?shù)讀取器，但仍然擔(dān)心它們?cè)诠_(kāi)使用時(shí)會(huì)表現(xiàn)不佳。

一些游戲因?yàn)榉謹(jǐn)?shù)并不總是可見(jiàn)而被排除：

《Yar’s Revenge》的分?jǐn)?shù)大部分時(shí)間都是隱藏的；

《Berzerk》會(huì)移動(dòng)分?jǐn)?shù)顯示位置，并且顯示不同的內(nèi)容；

《Qbert》在玩家處于頂部時(shí)隱藏分?jǐn)?shù)，但這并不致命。

Atari 開(kāi)發(fā)工具箱

用于校正的發(fā)光的 April Tags 和用于讀取分?jǐn)?shù)的 April Tags。

稀疏獎(jiǎng)勵(lì) / 好奇心

強(qiáng)化學(xué)習(xí)算法需要密集的獎(jiǎng)勵(lì)，這是一個(gè)例外，而不是大多數(shù)任務(wù)的常態(tài)。我們希望一個(gè)具有經(jīng)濟(jì)價(jià)值的智能體能夠在只有最終獎(jiǎng)勵(lì)的情況下執(zhí)行一系列長(zhǎng)動(dòng)作。

人們?cè)谕嬗螒驎r(shí)的關(guān)注點(diǎn)可能并不總是分?jǐn)?shù)。在一些游戲，如《Yar’s Revenge》中，分?jǐn)?shù)只在關(guān)卡之間才顯示！

分?jǐn)?shù)的相對(duì)高低可能并不能準(zhǔn)確反映玩家的實(shí)際表現(xiàn)或游戲的難度，例如在《Breakout》和《Space Invaders》中，擊中更高的目標(biāo)就可以得到更高的分?jǐn)?shù)。

硬探索游戲

像《蒙特祖瑪?shù)膹?fù)仇》和《Pitfall》這樣的“硬探索游戲”一直是長(zhǎng)期的研究課題，并且已經(jīng)取得了一些進(jìn)展，但要達(dá)到人類(lèi)水平還有幾個(gè)數(shù)量級(jí)的差距，而且不清楚我們是否走在正確的道路上。

我們可以只在游戲結(jié)束或失去生命值時(shí)給予總的獎(jiǎng)勵(lì)，將每一款游戲變成硬探索游戲。

由人工好奇心驅(qū)動(dòng)的內(nèi)在獎(jiǎng)勵(lì)。它可能會(huì)最終學(xué)會(huì)讀取屏幕上可見(jiàn)的分?jǐn)?shù)作為一種內(nèi)在獎(jiǎng)勵(lì)。

元好奇心

如果一個(gè)人類(lèi)被關(guān)在一個(gè)只有 Atari 游戲的房間里，我們期望他會(huì)如何表現(xiàn)？

玩一款游戲一會(huì)兒，感到無(wú)聊了，然后切到另一款游戲。

有些游戲很難取得進(jìn)展，會(huì)被放棄。

因在一款游戲上獲得新的前十名分?jǐn)?shù)而獲得獎(jiǎng)勵(lì)，與平均人類(lèi)正常分?jǐn)?shù)成正比。

對(duì)于那些獲得遠(yuǎn)遠(yuǎn)超過(guò)人類(lèi)水平的表現(xiàn)的游戲，需要有一些遞減機(jī)制。

需要保持最佳平均分?jǐn)?shù)，這樣就沒(méi)有動(dòng)機(jī)在一段時(shí)間內(nèi)故意得分很低，然后突然得分很高。

需要強(qiáng)迫他嘗試其他游戲嗎？

最短游戲時(shí)間？在游戲結(jié)束時(shí)做出更換游戲的決定？

智能體可以“憤怒退出”嗎？

串行多任務(wù)學(xué)習(xí)

串行比并行難得多

已經(jīng)有演示表明，一個(gè)單一智能體可以并行學(xué)習(xí)許多游戲，但智能體應(yīng)該能夠在一款游戲上達(dá)到熟練程度，然后花費(fèi)數(shù)百萬(wàn)步學(xué)習(xí)其他任務(wù)，之后再回到這款游戲，并且能夠非常迅速地恢復(fù)到之前的水平。人類(lèi)即使在多年沒(méi)有間歇性練習(xí)的情況下，也能保留多年前掌握的大部分技能。

這種情況在目前的在線學(xué)習(xí)中并沒(méi)有發(fā)生——當(dāng)重新回到老游戲時(shí)，游戲表現(xiàn)幾乎接近隨機(jī)水平。雖然之前學(xué)到的內(nèi)容并沒(méi)有完全丟失，重新學(xué)習(xí)的速度也比最初快，但這種表現(xiàn)是不可接受的。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練有非常強(qiáng)烈的近期偏差，并且傾向于遭遇“災(zāi)難性遺忘”。

在傳統(tǒng)模型中，更新內(nèi)容本質(zhì)上都至少會(huì)在一定程度上改變一些東西。你可以希望在學(xué)習(xí)不同任務(wù)時(shí)，權(quán)重更新大多是平衡的隨機(jī)噪聲，但即使是隨機(jī)的，也會(huì)在數(shù)十億步之后變得具有破壞性。

Richard 和 Joseph 喜歡“流式強(qiáng)化學(xué)習(xí)”的理念，這種理念摒棄了回放緩沖區(qū)，但我懷疑他們是否能夠在數(shù)天的訓(xùn)練中學(xué)習(xí)多樣化任務(wù)。生物大腦當(dāng)然不會(huì)存儲(chǔ)可以被召回的原始觀測(cè)數(shù)據(jù)，但長(zhǎng)期情景記憶確實(shí)與簡(jiǎn)單的策略評(píng)估有所不同。

減少損失：學(xué)習(xí)率調(diào)整、稀疏性、錯(cuò)誤校正。

完美記憶所有歷史是可行的，我們可以存儲(chǔ)數(shù)萬(wàn)億字節(jié)的觀測(cè)數(shù)據(jù)。

沒(méi)有任務(wù) ID！
顯式輸入任務(wù) ID 是作弊行為。在游戲的新關(guān)卡之間切換和切換游戲之間沒(méi)有道德上的區(qū)別。

沒(méi)有調(diào)整對(duì)齊！
任何用于探索或訓(xùn)練的學(xué)習(xí)過(guò)程中的超參數(shù)調(diào)整都應(yīng)該是隱式的，而不是顯式的。

離線強(qiáng)化學(xué)習(xí)
你記憶中的老游戲是一個(gè)離線強(qiáng)化學(xué)習(xí)問(wèn)題。

即使你對(duì)一切都有完美的記憶，如果強(qiáng)化學(xué)習(xí)算法沒(méi)有不斷地“接受現(xiàn)實(shí)檢驗(yàn)”，它們也可能會(huì)偏離正軌。離線學(xué)習(xí)是很難的。

為什么離線優(yōu)化效果不好？

在線（傳統(tǒng)）強(qiáng)化學(xué)習(xí)與離線強(qiáng)化學(xué)習(xí)的區(qū)別在于，在線強(qiáng)化學(xué)習(xí)通過(guò)采取可能因模型變化而產(chǎn)生的新動(dòng)作不斷地“測(cè)試”模型，而離線訓(xùn)練可能會(huì)自我引導(dǎo)進(jìn)入一個(gè)未經(jīng)現(xiàn)實(shí)檢驗(yàn)的連貫幻想世界。

如今的 LLM 是用數(shù)百萬(wàn)規(guī)模的有效批次和隨機(jī)樣本進(jìn)行訓(xùn)練的。我認(rèn)為，這種巨大的批次不只是集群不斷擴(kuò)展的產(chǎn)物，實(shí)際上，這對(duì)于生成足夠穩(wěn)定的梯度以實(shí)現(xiàn)持續(xù)學(xué)習(xí)所有多樣化信息來(lái)說(shuō)是必不可少的。你絕對(duì)不能通過(guò)在線瀏覽語(yǔ)料庫(kù)來(lái)訓(xùn)練 LLM，即使給它無(wú)限的時(shí)間——它會(huì)在“閱讀”下一本書(shū)時(shí)忘記前一本。即使你用批量為 1 進(jìn)行 IID 采樣，也只能得到次線性性能，因?yàn)閮蓚€(gè)不同主題之間的引用可能相差一百萬(wàn)個(gè)優(yōu)化步驟。

遷移學(xué)習(xí)

不要像傻瓜一樣玩游戲

即使是最先進(jìn)的智能體在學(xué)習(xí)一款新游戲時(shí)，也會(huì)表現(xiàn)得像個(gè)傻瓜。從“嬰兒第一次睜開(kāi)眼睛”的角度來(lái)看，這是可以理解的，但在花費(fèi)數(shù)周時(shí)間精通數(shù)十款游戲之后，它應(yīng)該能夠更有效地開(kāi)始一款新游戲。

Gotta Learn Fast

OpenAI 的“Gotta Learn Fast”挑戰(zhàn)賽試圖用《索尼克》游戲鼓勵(lì)這種快速學(xué)習(xí)的能力，但獲勝者選擇在可用的 100 萬(wàn)步中從頭開(kāi)始訓(xùn)練智能體。

GATO

GATO 出現(xiàn)了負(fù)遷移學(xué)習(xí)——在并行學(xué)習(xí)其他游戲之后再學(xué)習(xí)一款新游戲會(huì)變得更困難。

僅僅做到不變得更糟，這本身就是一個(gè)挑戰(zhàn)！

在持續(xù)使用過(guò)程中，網(wǎng)絡(luò)的這種“可塑性喪失”現(xiàn)象在深度學(xué)習(xí)中是一個(gè)眾所周知的現(xiàn)象，它甚至可能在某種程度上與生物大腦的老化有相似之處——老狗學(xué)不了新把戲。

可能有必要放棄一些初始的學(xué)習(xí)速度——“慢即是快”。

新基準(zhǔn)

應(yīng)該創(chuàng)建一個(gè)新的基準(zhǔn)測(cè)試，循環(huán)通過(guò)一組游戲，并根據(jù)最后一個(gè)循環(huán)中的所有得分進(jìn)行評(píng)判，這樣就讓原始學(xué)習(xí)速度與避免遺忘和利用遷移學(xué)習(xí)結(jié)合在一起。沒(méi)有最小動(dòng)作集。粘性動(dòng)作。

你至少要打敗從頭開(kāi)始學(xué)習(xí)的 BBF！

在回合中間切換游戲要小心——這可能會(huì)讓算法認(rèn)為它們毫無(wú)緣由地“死亡”了，這會(huì)導(dǎo)致它們產(chǎn)生幻覺(jué)。因此，除了“終止”信號(hào)外，還需要一個(gè)“截?cái)唷毙盘?hào)。

可塑性與泛化

它們是否相互沖突？

這很難說(shuō)，因?yàn)槲覀儾](méi)有關(guān)于二者的強(qiáng)大的理論，但感覺(jué)二者可能存在一種內(nèi)在的沖突，這種沖突應(yīng)該被積極地解決，而不是被動(dòng)接受。

泛化忽略細(xì)節(jié)，而可塑性涉及識(shí)別那些目前對(duì)你來(lái)說(shuō)毫無(wú)意義的新模式。

事實(shí)與理解——強(qiáng)化學(xué)習(xí)中的策略和價(jià)值函數(shù)的產(chǎn)物與環(huán)境交互的簡(jiǎn)單的痕跡本質(zhì)上是不同的。

你從事實(shí)中挖掘有價(jià)值的信息，然后形成理解。

泛化并不穩(wěn)固。CNN 有一些有益的歸納偏差。

探 索

從整個(gè)動(dòng)作空間中選擇一個(gè)隨機(jī)動(dòng)作肯定是不對(duì)的。

動(dòng)作空間分解

即使忽略模擬輸入，現(xiàn)代游戲手柄也有數(shù)十億種組合方式。

令人驚訝的是，18 個(gè)動(dòng)作空間與 4 個(gè)動(dòng)作空間的差異影響非常小——很快就會(huì)穩(wěn)定在一個(gè)子集上，但這對(duì)探索仍然有影響。

即使有很小的幾率選擇隨機(jī)動(dòng)作，在許多游戲中也會(huì)嚴(yán)重限制得分。在《Breakout》中，當(dāng)幀重復(fù)次數(shù)為 4 且球快速飛來(lái)時(shí)，向左而不是向右移動(dòng)通常會(huì)導(dǎo)致丟掉一條命。

高分取決于非常低的ε-greedy 值——ε=0.9 的得分遠(yuǎn)低于ε=0.99。在玩《Qbert》時(shí)，有一半時(shí)間你都處于棋盤(pán)的邊緣，如果隨機(jī)推動(dòng)操縱桿的方向錯(cuò)誤，就會(huì)丟掉生命。對(duì)于那些需要按下發(fā)射按鈕才能開(kāi)始的游戲，如果ε=1.0 且價(jià)值函數(shù)不好，可能會(huì)永遠(yuǎn)卡住。

明確的策略或帶溫度參數(shù)的 softmax 貪婪策略。

選項(xiàng)？學(xué)習(xí)一組動(dòng)作，就像我們學(xué)習(xí)一組特征一樣。

時(shí)間尺度

為單個(gè)時(shí)間步選擇動(dòng)作肯定不對(duì)。

像《Breakout》這樣的游戲在 60 FPS 的幀率下運(yùn)行效果很好，但即使調(diào)整了折扣因子，以 60 FPS 的速度進(jìn)行學(xué)習(xí)仍然效果不佳，因?yàn)閯?dòng)作間隔太小。

可變時(shí)間尺度選項(xiàng)可能很重要。

循環(huán)與幀堆疊

遺憾的是，幀堆疊作為一種狀態(tài)表示方法在 Atari 游戲中非常有效，這使得循環(huán)狀態(tài)學(xué)習(xí)變得不那么有吸引力。

大腦是循環(huán)神經(jīng)網(wǎng)絡(luò)，忽視這一點(diǎn)似乎是不明智的。

具有大上下文的 Transformer 模型在小批量訓(xùn)練中表現(xiàn)出色，但我們?nèi)匀粵](méi)有用于通用循環(huán)在線學(xué)習(xí)的算法。

如果將動(dòng)作與觀測(cè)值一起輸入，那么動(dòng)作可以被視為對(duì)自己的提示。

函數(shù)近似的性能幾乎決定一切

在經(jīng)典強(qiáng)化學(xué)習(xí)中，“函數(shù)近似”只是一個(gè)黑箱，但它的實(shí)現(xiàn)卻主導(dǎo)了性能。

神經(jīng)網(wǎng)絡(luò)為我們做了幾件事：

針對(duì)新輸入學(xué)習(xí)新結(jié)果。

在“相似”輸入之間泛化結(jié)果。

將隨機(jī)過(guò)程中的樣本進(jìn)行平均，得出期望值。

對(duì)于非平穩(wěn)過(guò)程（如不斷改進(jìn)的策略），更新先前的值。

它能表現(xiàn)得如此出色，真是令人驚嘆！

未采取的每個(gè)動(dòng)作的 Q 值是模型從實(shí)際發(fā)生的情況泛化到可能發(fā)生的情況的結(jié)果。這已經(jīng)超出了強(qiáng)化學(xué)習(xí)算法的范疇，純粹是模型架構(gòu)和訓(xùn)練的問(wèn)題。

在確定性環(huán)境中，僅使用觀測(cè)像素的哈希值，甚至根本不使用觀測(cè)值而只使用動(dòng)作的歷史記錄，也能進(jìn)行學(xué)習(xí)，但一旦出現(xiàn)哪怕是最小程度的噪聲，或者從一個(gè)未見(jiàn)過(guò)的狀態(tài)開(kāi)始，這種方法就會(huì)變得毫無(wú)用處。

我認(rèn)為人們往往低估了這樣一個(gè)事實(shí)：每一個(gè)權(quán)重更新都會(huì)改變每一個(gè)觀測(cè)的每一個(gè)值輸出。我們只是希望這些變化是積極的泛化，或者至少是平均后相互抵消的隨機(jī)噪聲。

初始化、激活函數(shù)、損失函數(shù)和優(yōu)化器之間的相互作用可能存在著比當(dāng)前實(shí)踐更好的組合優(yōu)化點(diǎn)。

Adam 出奇地難以被擊敗。Lucas 嘗試了十幾種新方法，但在一系列游戲中并沒(méi)有發(fā)現(xiàn)任何明顯的優(yōu)勢(shì)。

在 BBF 中，重置網(wǎng)絡(luò)可以導(dǎo)致性能顯著提升，這清楚地說(shuō)明了有根本性的問(wèn)題存在。

浮點(diǎn)運(yùn)算和反向傳播梯度是我們構(gòu)建基礎(chǔ)的正確選擇嗎？偏離標(biāo)準(zhǔn)實(shí)踐令人感到不安。

輔助損失
像自預(yù)測(cè)表示這樣的方法，僅僅是迫使函數(shù)逼近器更好地為價(jià)值函數(shù)和策略服務(wù)的一種手段。

在《Breakout》游戲中，正確的動(dòng)作主要由代表球和擋板的十幾個(gè)像素決定，而不是其他成千上萬(wàn)的像素。

IID 假設(shè)。高度相關(guān)性。非平穩(wěn)表現(xiàn)為“分布偏移”（達(dá)到新關(guān)卡、嘗試不同任務(wù)）和“概念偏移”（在相同情況下表現(xiàn)得更好）。

價(jià)值中的高噪聲——差異是行為變化、泛化失敗的結(jié)果，還是僅僅是噪聲？獎(jiǎng)勵(lì)可能在未來(lái)幾百步之后，而從現(xiàn)在到那時(shí)之間的任何策略選擇都可能至關(guān)重要，但我們卻將價(jià)值引導(dǎo)回過(guò)去。

從表格型強(qiáng)化學(xué)習(xí)的角度來(lái)看，Atari 能夠運(yùn)行起來(lái)本身就很令人驚訝。隨機(jī)策略下的最佳動(dòng)作往往也是最優(yōu)策略下的最佳動(dòng)作？

外推通常比內(nèi)插更容易出錯(cuò)。未限制的 ReLU 可能是危險(xiǎn)的。

Dropout 本應(yīng)是有用的，但到目前為止還沒(méi)有發(fā)揮出應(yīng)有的作用。權(quán)重衰減和衰減到初始化也是如此。

價(jià)值表示

即使是策略梯度算法，仍然有一個(gè)狀態(tài)價(jià)值。大腦不太可能以跨越多個(gè)數(shù)量級(jí)的方式來(lái)表征標(biāo)量值。我有一個(gè)特別的想法，就是使用具有旋轉(zhuǎn)環(huán)繞的極坐標(biāo)值，因?yàn)槟闼P(guān)心的只是哪個(gè)動(dòng)作最好，而所有動(dòng)作通常都在相近的范圍內(nèi)。

經(jīng)典 DQN 的獎(jiǎng)勵(lì)截?cái)?/strong>
為了穩(wěn)定性和讓相同的學(xué)習(xí)率能在所有游戲中表現(xiàn)良好，將獎(jiǎng)勵(lì)值限制在 -1 和 1 之間。