哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“??從CoT到“思維固化”：大模型為何越訓(xùn)越笨？??”，并學(xué)會本篇文章中所講的全部知識點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

??從CoT到“思維固化”：大模型為何越訓(xùn)越笨？??：

從 ChatGPT 發(fā)布以來，大語言模型就引發(fā)了市場和科研領(lǐng)域的巨大的關(guān)注，其中絕大部分興奮都源于大模型的涌現(xiàn)特性：它們似乎能夠回憶訓(xùn)練中的信息，編寫代碼，并且進(jìn)行邏輯推理。人們期望大模型能借助推理能力在會計、編程等領(lǐng)域拓展專業(yè)知識、減少重復(fù)性任務(wù)，為未來的職業(yè)生活提供協(xié)助。

但從現(xiàn)有的大模型推理能力評估來看，這些基準(zhǔn)雖然涵蓋自然語言處理、推理、編碼和數(shù)學(xué)能力等多個領(lǐng)域，各類排行榜也聚焦于模型在特定任務(wù)上超越當(dāng)前 SOTA 水平的表現(xiàn)，多關(guān)注答案正確性而非推理步驟的準(zhǔn)確性。

為此，在一篇名為“Large Language Models’ Reasoning Stalls: An Investigation into the Capabilities of Frontier Models”的論文中，研究人員 Lachlan McGinness、Peter Baumgartner 等提出一項縱向研究，追求更加全面地衡量大模型的推理能力。

研究根據(jù)截至 2023 年 12 月和 2024 年 8 月表現(xiàn)最好的大模型在 PRONTOQA 邏輯推理基準(zhǔn)上的表現(xiàn)，對大模型的推理能力進(jìn)行了評估，測試的 SOTA 模型包括 GPT3.5 Turbo、GPT-4 和 GPT-4o、Gemini-Pro、Claude 3 Opus 和 Llama3.1 405B。

論文地址：https://arxiv.org/abs/2505.19676

1.正確答案≠正確推理
當(dāng)前多數(shù)模型推理能力評估聚焦于大模型在各類基準(zhǔn)測試中的答案準(zhǔn)確性，如自然語言處理、推理、數(shù)學(xué)能力等領(lǐng)域的任務(wù)，卻忽視推理步驟的正確性，且未充分考慮結(jié)果的不確定性：模型可能通過 “記憶猜測” 等捷徑而非邏輯推導(dǎo)得出結(jié)論，導(dǎo)致單一的準(zhǔn)確率無法全面衡量其推理能力。

在推理策略方面，自動定理證明（ATP）領(lǐng)域的自底向上（正向鏈）、自頂向下（反向鏈）等策略已被用于提升推理效率，但大模型能否通過上下文學(xué)習(xí)有效應(yīng)用這些策略仍需驗證。

此外，現(xiàn)有研究多聚焦單一時間點(diǎn)的模型對比，缺乏對同一基準(zhǔn)上模型能力隨時間變化的縱向分析，例如 GPT-4 到 GPT4-o 的推理能力是否實質(zhì)性提升等。

為了從多維度評估大模型推理能力的真實表現(xiàn)，研究人員圍繞大模型在 ATP 推理策略下的能力評估展開，通過多維度實驗設(shè)計、自動化數(shù)據(jù)解析與統(tǒng)計分析，系統(tǒng)探究模型推理的準(zhǔn)確性與過程忠實性。

具體來看，研究選取 2023 年 12 月與 2024 年 8 月的前沿模型，包括 OpenAI 的 GPT-3.5 Turbo、GPT-4、GPT4-o，Google 的 Gemini-Pro，Anthropic 的 Claude 3 Opus（經(jīng)驗證優(yōu)于 Claude 3.5 Sonnet），以及 Meta 的 Llama3.1 405B，使用 PRONTOQA 邏輯推理基準(zhǔn)進(jìn)行測試。

PRONTOQA 基準(zhǔn)以問題生成器形式發(fā)布，避免了數(shù)據(jù)污染問題，且支持通過生成任意數(shù)量的問題進(jìn)行統(tǒng)計分析和不確定性測量，同時該基準(zhǔn)不常被用作評估指標(biāo)，可降低模型過擬合的可能性，為評估大模型的推理過程提供了可靠場景。

實驗設(shè)計 6 種提示策略：基準(zhǔn)（Normal）、零樣本鏈思維（Zero-shot CoT）、單樣本鏈思維（One-shot CoT）、自底向上推理策略（Bottom Up）、自頂向下推理策略（Top Down）及魔術(shù)集轉(zhuǎn)換策略（Magic Set Transformation），每種策略對每個模型進(jìn)行 1800 次調(diào)用（3 種推理步驟 ×100 次 / 步驟 ×6 種提示），確保數(shù)據(jù)量充足。

2.模型推理能力發(fā)展停滯
研究結(jié)果顯示，實驗選取的大模型的推理能力提升陷入停滯，GPT-4o、Claude Opus 等前沿模型在多數(shù)實驗條件下的表現(xiàn)未顯著超越 2023 年的 GPT-4，前者的進(jìn)步主要?dú)w因于提示詞工程與自動應(yīng)用思維鏈（CoT）進(jìn)行訓(xùn)練，而非模型架構(gòu)或訓(xùn)練數(shù)據(jù)的實質(zhì)性改進(jìn)。

所有模型在自底向上推理策略下準(zhǔn)確率最高且最能忠實遵循推理步驟，綜合表現(xiàn)最佳；自頂向下和魔術(shù)集轉(zhuǎn)換策略因復(fù)雜度較高，模型難以有效執(zhí)行，表現(xiàn)較差。

從實驗數(shù)據(jù)來看，不同模型在遵循推理策略的能力上存在顯著差異，如 Claude Opus 因規(guī)則與事實順序顛倒導(dǎo)致自底向上策略忠實度低；諸如魔術(shù)集轉(zhuǎn)換等復(fù)雜策略執(zhí)行一致性普遍偏低，說明大模型對結(jié)構(gòu)化推理流程的理解仍有限。

此外，通過皮爾遜相關(guān)系數(shù)分析發(fā)現(xiàn)，正確推理步驟的完整性和順序忠實性與答案正確性僅存在低正相關(guān)性，Claude Opus 的 “正確答案” 與 “完整推理步驟” 相關(guān)性僅為 0.14，說明大模型可能通過記憶或猜測而非邏輯推理得出結(jié)論，推理過程的可靠性有限。

且 2024 年模型在基準(zhǔn)條件下的 token 使用量顯著增加，GPT-4o 的完成 token 數(shù)為 300.0，Claude Opus 為 316.3，遠(yuǎn)超 2023 年 GPT-4 的 1.8，表明其已被訓(xùn)練為默認(rèn)啟用 CoT 推理，而 Llama3.1 405B 因未使用隱藏提示，推理步驟完整性較低，基準(zhǔn)條件下推理步驟完整性僅為 0.73±0.09，也進(jìn)一步驗證了 prompt 工程對模型表現(xiàn)的影響。

綜合實驗數(shù)據(jù)，2023 至 2024 年間大模型推理能力的提升主要可以歸因于提示工程（如內(nèi)置 CoT），而非模型架構(gòu)優(yōu)化，新模型在復(fù)雜推理場景中并未超越 GPT-4，自底向上策略因邏輯清晰、易于遵循，成為大模型最有效的推理方式，而自頂向下與魔法集轉(zhuǎn)換策略因復(fù)雜度高，應(yīng)用受限。

大模型推理能力出現(xiàn)停滯現(xiàn)象，提升已進(jìn)入瓶頸期，進(jìn)步主要依賴提示工程而非模型自主推理能力的突破，而自底向上策略雖為最優(yōu)實踐，但模型仍缺乏可靠的邏輯鏈條生成能力。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“??從CoT到“思維固化”：大模型為何越訓(xùn)越笨？??”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！