哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“讓推薦學(xué)會思考：用強化學(xué)習(xí)激活大模型的序列推理能力”，并學(xué)會本篇文章中所講的全部知識點。還是那句話“不必遠征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

讓推薦學(xué)會思考：用強化學(xué)習(xí)激活大模型的序列推理能力：

通過對用戶行為序列建模，推薦系統(tǒng)很好地洞察了用戶序列行為背后的深層動機，在深度學(xué)習(xí)時代獲得了巨大的成功。自chatgpt出現(xiàn)后的很長一段時間，推薦系統(tǒng)沒有很好的緊密結(jié)合大模型能力，來增強對用戶興趣的探索和利用。簡單的推薦系統(tǒng)+大模型，效果總是忽上忽下，總感覺沒有找到推薦系統(tǒng)結(jié)合大模型的真髓，而一直是拿著錘子找釘子的迷茫狀態(tài)。
大模型強勢將過去的文本、語音、視覺全部革新一遍，時代的車輪滾滾向前，推薦系統(tǒng)也要有自我革新的能力。

基于用戶行為序列，上次是序列建模，這次是序列推理，通過強化學(xué)習(xí)訓(xùn)練大模型理解用戶行為序列之間的內(nèi)在關(guān)系，生成并搜索用戶興趣標(biāo)簽所代表的相關(guān)資訊，讓大模型承擔(dān)起用戶行為序列與資訊數(shù)據(jù)庫的橋梁，端到端地預(yù)測用戶下一個最可能點擊的資訊，也許是一條嶄新而光明的路。

從最近的生成式推薦方案看出，推薦系統(tǒng)正在努力靠近大模型的訓(xùn)練范式。如果我們將DeepFM、DIN之類的訓(xùn)練方案比作是“小模型”從零開始的“預(yù)訓(xùn)練”，那么端到端一體式優(yōu)化在升級“小模型”為“大模型”的同時，也開啟了“大模型”的“后訓(xùn)練”進程，從GPT-3集成強化學(xué)習(xí)RLHF開始誕生ChatGPT，模型的智能才真正大爆發(fā)，讓我們不斷探索推薦系統(tǒng)的ChatGPT時刻。

本實驗的github代碼和數(shù)據(jù)：

https://github.com/shijian007/Rec_E1

1、用戶行為序列建模
推薦系統(tǒng)吃到了深度學(xué)習(xí)的時代紅利，在對用戶行為序列（UBM：User Behavior Modeling）的特征建模方面，基于DIN模型一路演化前進，取得了不錯的成績[1]。

你問DeepSeek，一句話總結(jié)那時的模型：

下圖說明了各個模型之間的師徒關(guān)系和成績[1]

同時很容易從模型性能的角度，否決如今大部分的LLM大模型作用在實時推薦系統(tǒng)上。換句話說，如果LLM大模型只能作用于部分離線的推薦模塊，應(yīng)用前景是灰暗的。

2、大模型與用戶行為序列
筆者曾在ChatGPT出現(xiàn)早期，用當(dāng)時開源ChatGLM模型對用戶行為序列預(yù)測下一個最可能點擊的item，可能是限于當(dāng)時模型智能和指令跟隨能力，Next-Item的預(yù)測總體上欠佳。后來了解到該方法與GPT4REC思路上是相似的，說明思路上可行，但落地上需要等待時機。

此后大模型的發(fā)展乘風(fēng)破浪，DeepSeek將性價比極高的強化學(xué)習(xí)方法推廣開來，SFT微調(diào)不再是低成本改造大模型的性價比之選。如今開源大模型的能力早已追上曾經(jīng)的王者GPT-4，小而強，又強又便宜，和強化學(xué)習(xí)一結(jié)合，簡直絕配！

在復(fù)現(xiàn)DeepSeek R1的路上，圍繞veRL[2]強化學(xué)習(xí)訓(xùn)練框架，產(chǎn)生了很多有意思的訓(xùn)練策略，其中和用戶行為序列推理相關(guān)的訓(xùn)練策略Rec_R1[3]和Search_R1[4]，前者作用于推薦系統(tǒng)，后者作用于搜索系統(tǒng)，殊路同歸，作為關(guān)鍵詞相關(guān)召回策略的一種優(yōu)化方法，在Amazon電商推薦、wiki搜索問答與多跳推理等任務(wù)上獲得了不錯成績。

本文重點在Rec_R1基礎(chǔ)上進行了擴展，將實驗數(shù)據(jù)集更換為微軟開源的MIND-small[5]新聞數(shù)據(jù)集，具有完整的用戶歷史點擊序列和相應(yīng)的新聞標(biāo)題與摘要（很遺憾沒有正文），由此形成完備的強化學(xué)習(xí)所需數(shù)據(jù)集，進行下一階段的實驗觀察。

3、用戶行為序列推理
原作Rec_R1在大模型選型+強化學(xué)習(xí)+稀疏/稠密搜索方法上進行了不同實驗組合，重點在于訓(xùn)練大模型輸出最佳搜索關(guān)鍵詞，以便在搜索稀疏/稠密數(shù)據(jù)庫后，盡量提高目標(biāo)文章在搜索結(jié)果的排序位置，排名越靠前，間接說明大模型給的關(guān)鍵詞越好，極限情況下若排名為第一名，則大模型成功的預(yù)測了用戶未來點擊的下一篇文章。

大部分情況下，我們主要觀察搜索評估指標(biāo)NDCG[6]來客觀反映搜索結(jié)果與目標(biāo)文章的相對位置關(guān)系，如果NDCG指標(biāo)越高，則目標(biāo)文章排名越靠前，這也是我們期望的結(jié)果。因此，將NDCG指標(biāo)分?jǐn)?shù)轉(zhuǎn)化為強化學(xué)習(xí)算法GRPO[7]的獎勵函數(shù)，從強化學(xué)習(xí)的基本原理出發(fā)，讓大模型按照我們給定的訓(xùn)練要求去自然演化，自動收斂，在我們所關(guān)心的評估指標(biāo)集合上達到一個較好的區(qū)間范圍。

3.1 Rec_E1訓(xùn)練框架
本作在Rec_R1基礎(chǔ)上的升級為Rec_E1，主要工作：

? 升級了veRL版本，從v0.1 升級為 v0.3，支持更多強化學(xué)習(xí)算法
? 支持搜索數(shù)據(jù)庫ElasticSearch和BM25S，探索了bm25算法在不同數(shù)據(jù)庫實現(xiàn)上的效果差異
? 支持新聞資訊推薦數(shù)據(jù)集MIND-small
? 因pyserini升級，修復(fù)了部分install問題

在開始實驗前，我們需要為后續(xù)的實驗先安排基礎(chǔ)對照組，本作基礎(chǔ)對照實驗組合為：Qwen2.5-3B-instruct + GRPO強化學(xué)習(xí)算法 +BM25搜索算法[9](Pyserini稀疏數(shù)據(jù)庫[8]) + MIND-small小型數(shù)據(jù)集。

GRPO強化學(xué)習(xí)算法的獎勵函數(shù)包括搜索指標(biāo)NDCG分和大模型輸出格式分，考慮NDCG分小于1且大部分情況下分值較小，這里將NDCG分?jǐn)U大10倍，最終的獎勵分Advantage=NDCG_score * 10 + response_format_score。

3.2 基礎(chǔ)對照組實驗
由于MIND-small數(shù)據(jù)集中用戶點擊行為序列可能非常長，為控制輸入長度，穩(wěn)定所需GPU顯存大小，這里只截取了用戶最新點擊的8篇文章，同時將目標(biāo)文章設(shè)為第9篇文章。為加快訓(xùn)練進度，這里的訓(xùn)練集截取了MIND-small的train數(shù)據(jù)集前10000條樣本，測試集截取MIND-small的dev數(shù)據(jù)集前2000條樣本，在兩卡A800上共訓(xùn)練3輪。
在基礎(chǔ)對照組的實驗中，一個典型的大模型輸入如下：

You first think about the reasoning process in the mind and then provide the user with the answer. Current time is 2019-11-14.
You are very good at personalized news recommendation. Based on the user’s clicked news sequence, your task is to generate a search query to search for the next news that the user is most likely to click on in the news retrieval system.
In other words, the user is likely to click on news related to the previous clicks.
Below are the titles and abstract of news that users have clicked on in sequence. The next one news is not in the list.

News-1
Title: Bruce Willis brought Demi Moore to tears after reading her book
Abstract: Demi wasn’t sure how her ex would feel about her book until he called her.

News-2
Title: …

Show your thought process in tags. Your final response must be in JSON format within tags. The generated query should use Boolean operators (AND, OR) to structure your query logically. For example:

{“query”: xxx}

為了更好的結(jié)合BM25搜索算法，規(guī)定大模型的輸出為用AND或OR連接的多個關(guān)鍵詞。在GRPO訓(xùn)練過程中，一個典型的大模型輸出如下：

First, I analyzed the topics of the given news articles. News 1 is about a wildlife rescue, News 2 is about economic issues, News 3 is about Trump’s legal troubles, News 4 is about political matters, News 5 is about gift ideas, News 6 is about a suspected serial killer, News 7 is about animal welfare, and News 8 is about community service. To find the most likely next news, I’ll look for topics that are related to these categories but not too similar to the previous ones. A good candidate would be another news article about community service or a related topic, such as a story about a senior citizen or a charity event. However, since the last news was about a senior shelter dog, a related topic could be another story about animals or community service. The query is constructed to include these related topics to ensure the next news is likely to be clicked on.
{“query”: “fishermen rescue deer OR Trump economic OR NY judge settlement OR impeachment inquiry OR holiday gift ideas OR serial killer OR senior shelter dog OR Waffle House employee”}

這里BM25搜索算法使用了Pyserini數(shù)據(jù)庫，該數(shù)據(jù)庫存儲字段包括文章id和文章正文，由于MIND-small數(shù)據(jù)庫的文章沒有正文，這里將文章的標(biāo)題和摘要拼接為“正文”。

解析大模型輸出的query，查詢Pyserini數(shù)據(jù)庫，獲得相應(yīng)的召回集，同時評估目標(biāo)文章在召回集中的相對位置，即計算NDCG分值，若目標(biāo)文章沒有出現(xiàn)在召回集中，則NDCG分值為0。

通過wandb可以很方便的看到訓(xùn)練細節(jié)，在下圖各個獎勵函數(shù)評分曲線可以看出：

? 大模型給的query仍有很多沒有查到目標(biāo)文章，wrong_answer_ratio和all_correct_ratio是互補關(guān)系，從all_correct_ratio可知，最高約18%的查詢結(jié)果包含了目標(biāo)文章。
? 大模型通過強化學(xué)習(xí)訓(xùn)練逐漸學(xué)會了按照指定格式要求輸出，即格式錯誤率format_error_ratio快速下降到0附近
? 在大模型查詢命中目標(biāo)文章的樣本中，ndcg平均值最高到達0.3353/10 = 0.03353
? 初步驗證了強化學(xué)習(xí)訓(xùn)練大模型進行序列推理能力的可行性

3.3 BM25的迷惑性
原作使用了Pyserini數(shù)據(jù)庫中的bm25算法，在Amazon電商推薦數(shù)據(jù)集獲得了不錯效果，由于bm25算法的普適性，企業(yè)界可以立馬應(yīng)用起來。當(dāng)你走到這里時，下一步可能就要在企業(yè)內(nèi)部集群部署的ElasticSearch數(shù)據(jù)庫上進行本地數(shù)據(jù)適配化操作了。實際上真正運用起來，還是有些坑要注意的。

第一個迷惑性

Pyserini的BM25算法不等同于ElasticSearch的BM25算法。

雖然兩者底層均基于Lucene，但從訓(xùn)練曲線上能明細看出差別：Pyserini對照組的ndcg分值全程高于實驗組BoolQuery_to_ESQuery，即將布爾類型的搜索query（AND或OR連接的關(guān)鍵詞），轉(zhuǎn)化為ES搜索的query。

考慮搜索ES的字段保持和Pyserini一致，文章存入ES有兩個字段：文章id、文章標(biāo)題與摘要拼接的“正文”。搜索ES的query存在調(diào)優(yōu)的空間，這里按如下格式將布爾類型的搜索query自動轉(zhuǎn)換為ES的搜索query，must為AND布爾操作符后面的關(guān)鍵詞列表，should為OR布爾操作符后面的關(guān)鍵詞列表。

{
“query”: {
“bool”: {
“must”: [
{
“multi_match”: {
“query”: keyword,
“fields”: “content”,
“type”: “phrase”
}
} for keyword in must
],
“should”: [
{
“multi_match”: {
“query”: keyword,
“fields”: “content”,
“type”: “phrase”
}
} for keyword in should
],
“minimum_should_match”: 1 if should else 0
}
}
}

第二個迷惑性

Python庫BM25S[10]的bm25算法不等同于Pyserini的BM25算法。

既然布爾類型的搜索query轉(zhuǎn)到ES搜索query后，效果下降較多，可否換一個同樣支持bm25算法的數(shù)據(jù)庫來驗證bm25搜索結(jié)果的普適性。這里考慮了基于python開發(fā)的高效BM25S庫，從下圖BoolQuery_for_BM25S曲線可以看出：

早期Pyserini曲線和BM25S曲線在ndcg指標(biāo)上不分上下，后期Pyserini曲線在ndcg指標(biāo)上大幅領(lǐng)先BM25S曲線
在all_correct_ratio指標(biāo)上，BM25S曲線幾乎全程壓制Pyserini曲線
以上兩個現(xiàn)象說明，Pyserini強于精搜，BM25S強于泛搜

為控制變量進行實驗，Python庫BM25S存入文章的兩個字段：文章id、文章標(biāo)題與摘要拼接的“正文”。
在搜索效率上，BM25S數(shù)據(jù)庫搜索效率較高，同樣的訓(xùn)練輪次，BM25S訓(xùn)練任務(wù)時間比Pyserini快了一倍以上。

第三個迷惑性

復(fù)雜的ES搜索query打不過相對簡單的BM25搜索。

考慮主流搜索系統(tǒng)采用的ElasticSearch數(shù)據(jù)庫，大模型的輸出，可否不再是簡單的AND或OR關(guān)系的關(guān)鍵詞，而是一個完整的、經(jīng)過優(yōu)化后的ES搜索query。這里涉及到大模型本身的json輸出控制能力和prompt工程優(yōu)化，qwen2.5-3b-instruct能夠基于給定的few-shots，動態(tài)輸出滿足json格式要求的結(jié)果。

從ESQuery_for_ES訓(xùn)練曲線可以看出：

? 在ndcg指標(biāo)上，ES復(fù)雜搜索query曲線均不如Pyserini和BM25S，僅比BoolQuery_to_ESQuery曲線稍好
? 在all_correct_ratio指標(biāo)上，ESQuery_for_ES曲線表現(xiàn)最佳
? 對比BM25S庫的實驗曲線，ESQuery_for_ES曲線甚至強于BM25S曲線的泛搜

MIND-small數(shù)據(jù)集還提供了文章的標(biāo)簽tag，為豐富prompt的文章信息，將用戶點擊行為序列文章內(nèi)容加入tag，但在搜索時不提供tag選項，原因是大模型會把tag當(dāng)做用戶的興趣，但圍繞tag的搜索太寬泛而抓不住重點。

當(dāng)然，ES的搜索query存在很大的優(yōu)化空間，3B大模型對于搜索query的few-shots理解可能不夠深刻，從而只會簡單的泛化。

You first think about the reasoning process in the mind and then provide the user with the answer. Current time is 2019-11-14.
You are very good at personalized news recommendation. Based on the user’s clicked news sequence, your task is to generate a search query to search for the next news that the user is most likely to click on in the ElasticSearch database.
The whole news stored in the Elasticsearch database which you will search includes: itemid and content.
Below are the title, abstract and tag of news that a user have actually clicked on in order. The next news is not in the following list. The news tag, title and abstract not in the Elasticsearch database.
You need to find the common interests of the user from the news sequences, which can be keywords extracted from news titles and abstract, and assign them reasonable weights to better fit the interests of the user.

News-1
Title: Bruce Willis brought Demi Moore to tears after reading her book
Abstract: Demi wasn’t sure how her ex would feel about her book until he called her.
Tag:

News-2
Title: …
Tag:…

First, show your thought process in tags. Then your final response must be in JSON format within tags.
The generated search query should comply with the Elasticsearch database search specification and be able to correctly search for the most relevant news from the Elasticsearch database.
For example:

{
“query”: {
“bool”: {
“must”: [
{
“multi_match”: {
“query”: “keyword1”,
“fields”: “content”,
“type”: “phrase”
}
}
],
“should”: [
{
“multi_match”: {
“query”: “keyword2”,
“fields”: “content”,
“type”: “phrase”
}
],
“minimum_should_match”: 1
}
}
}

4、思考
傳統(tǒng)推薦系統(tǒng)經(jīng)歷召回-粗排-精排-重排等階段，在大模型時代，每個階段都可以結(jié)合大模型做一些優(yōu)化，很難說哪種優(yōu)化方案孰優(yōu)孰劣，畢竟只有完整且準(zhǔn)確執(zhí)行的優(yōu)化方案才談得上給出一些真實的結(jié)論，我們需要選擇適配自身業(yè)務(wù)需求和硬件基礎(chǔ)的優(yōu)化方式。

從推薦系統(tǒng)+大模型的發(fā)展方向來說，端到端一體式優(yōu)化是一個光明的方向，如Meta的HSTU[11]、快手的OneRec[12]等模型和訓(xùn)練方案看出，推薦系統(tǒng)正在努力靠近大模型的訓(xùn)練范式。如果我們將DeepFM、DIN之類的訓(xùn)練方案比作是“小模型”從零開始的“預(yù)訓(xùn)練”，那么端到端一體式優(yōu)化在升級“小模型”為“大模型”的同時，也開啟了“大模型”的“后訓(xùn)練”進程，從GPT-3集成強化學(xué)習(xí)RLHF開始誕生ChatGPT，模型的智能才真正大爆發(fā)。

推薦系統(tǒng)永遠在挖掘用戶的潛在興趣，這意味著永遠不可能完全洞察用戶的真正興趣。沒有完全干凈的用戶行為序列，用戶最想點擊的item也許就不在我們的數(shù)據(jù)庫中，我們給與用戶的不是大千世界，而是在一個有限的搜索空間給與用戶能夠接受的item。從這一點上看，與大模型預(yù)訓(xùn)練所需的世間萬象的知識數(shù)據(jù)相比，這種推薦系統(tǒng)的端到端一體式優(yōu)化天然存在上限。

當(dāng)然，這樣比較不公平，沿著歷史看，當(dāng)我們以DeepFM/DIN為代表的深度學(xué)習(xí)時代視角，看待推薦系統(tǒng)在以LR/SVM/LightGBM為代表的機器學(xué)習(xí)時代表現(xiàn)，覺得推薦系統(tǒng)是從小學(xué)生逐漸升級到了高中生，在飛速發(fā)展的大模型時代，推薦系統(tǒng)面臨著大模型設(shè)下的“高考”，決定了推薦系統(tǒng)后面以本科、碩士還是博士的方式畢業(yè)。當(dāng)模型的結(jié)構(gòu)、模型的訓(xùn)練和模型的部署變得越來越復(fù)雜，一個人也不能完全掌握全部，推薦系統(tǒng)的優(yōu)化可能不再是主要圍繞模型的優(yōu)化了。

受限于資源和精力，本文選取了實驗的主要結(jié)論，這里拋磚引玉，為大家提供一些參考。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“讓推薦學(xué)會思考：用強化學(xué)習(xí)激活大模型的序列推理能力”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！