哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“為什么頂尖AI公司都在重構(gòu)RAG？語義搜索的隱藏王牌曝光”，并學(xué)會(huì)本篇文章中所講的全部知識(shí)點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場(chǎng)激發(fā)潛能的AI學(xué)習(xí)之旅吧。

為什么頂尖AI公司都在重構(gòu)RAG？語義搜索的隱藏王牌曝光：

RAG 要不要做語義檢索，有很多討論，還沒有定論。在 InfoQ 舉辦的 AICon 全球人工智能與開發(fā)大會(huì)上 Hugging FaceMachine Learning Engineer 尹一峰為我們帶來了精彩專題演講“RAG 基本范式的選擇與系統(tǒng)設(shè)計(jì)”，深入探討基于語義搜索（Semantic Search）的 RAG 系統(tǒng)的重要性，揭示它為何在當(dāng)前技術(shù)背景下被嚴(yán)重低估，分析語義搜索的本質(zhì)及其在 RAG 系統(tǒng)中的關(guān)鍵作用，并分享如何基于這一本質(zhì)設(shè)計(jì)出高效的系統(tǒng)架構(gòu)。

此外，演講還將討論 KG 驅(qū)動(dòng)的 RAG 系統(tǒng)，并指出它并非適用于所有數(shù)據(jù)類型，幫助聽眾理解如何根據(jù)不同的數(shù)據(jù)特性選擇最合適的 RAG 范式。

內(nèi)容亮點(diǎn)：

如何設(shè)計(jì)出更有效的 RAG 系統(tǒng)

根據(jù)自己的數(shù)據(jù)和系統(tǒng)，該如何選擇 RAG 范式

以下是演講實(shí)錄（經(jīng) InfoQ 進(jìn)行不改變?cè)獾木庉嬚恚?/p>

RAG 簡(jiǎn)介
我們需要了解為什么需要 RAG（Retrieval-Augmented Generation，檢索增強(qiáng)生成）。原因很簡(jiǎn)單，因?yàn)?LLM 本身存在一些問題。RAG 作為一種輔助工具，其存在是因?yàn)?LLM 本身有不足之處。

LLM 的第一個(gè)問題是訓(xùn)練成本很高。這個(gè)世界在快速變化，而 LLM 的訓(xùn)練成本每次都很高。對(duì)于通用模型而言，一旦訓(xùn)練完成，它就會(huì)立刻過時(shí)，因?yàn)樗鼰o法知曉訓(xùn)練完成后下一秒發(fā)生的事情。

目前大模型的訓(xùn)練主要依賴反向傳播。反向傳播本質(zhì)上是在求導(dǎo)，而大模型是一個(gè)黑箱，它學(xué)習(xí)時(shí)只對(duì)其上一個(gè) step 負(fù)責(zé)。換句話說，大模型無法做到“牽一發(fā)而不動(dòng)全身”，即無法在某個(gè)領(lǐng)域取得進(jìn)步時(shí)，僅通過改變其分布而不影響其他部分。

第二個(gè)問題是幻覺（Hallucination）。由于 LLM 是一個(gè)自回歸的概率模型，只要涉及概率模型，就不可避免地會(huì)產(chǎn)生幻覺，這是無法徹底根除的。不過，可以通過一些方法來緩解這種癥狀。

目前，主流的模型主要是以 Transformer 架構(gòu)為驅(qū)動(dòng)的自回歸模型。雖然情況正在發(fā)生變化，現(xiàn)在 Transformer 架構(gòu)的主導(dǎo)地位已經(jīng)面臨挑戰(zhàn)，咱們后面會(huì)提到。

自回歸模型本質(zhì)上仍然是一個(gè)數(shù)學(xué)模型。它根據(jù) prompt 和之前的 token 來預(yù)測(cè)下一個(gè) token，即條件概率模型。

從理論上講，可以通過調(diào)整 prompt，讓大語言模型輸出任何 token 組合，只要這些 token 在 tokenizer 之內(nèi)且不太長(zhǎng)。我們可以通過提示的形式，以條件的形式來控制輸出。

因此，RAG 的兩個(gè)主要問題——幻覺問題和分布偏移問題，都可以通過調(diào)整 prompt 來解決。RAG 的本質(zhì)就是提示工程（prompt engineering），通過調(diào)整條件，使其條件不同，從而調(diào)整其概率分布 ，在不改變 θ 的情況下。

RAG 實(shí)際上是一種通過檢索方式來選擇用于提示工程的材料的方法。具體來說，就是需要向 Prompt 中添加內(nèi)容。

實(shí)際上，任何形式的搜索都可以實(shí)現(xiàn)這一目的，比如使用 SQL 搜索引擎，或者像谷歌這樣的通用搜索引擎，甚至直接從數(shù)據(jù)庫中檢索等。只要能夠找到合適的文件，都可以作為 RAG 的輸入材料。

在這一過程中，不一定需要使用 ML。如果使用 ML，成本可能會(huì)更高。RAG 的核心在于通過改變條件來影響輸出分布。具體而言，輸入的新知識(shí)可以對(duì)抗分布偏移（Distribution Shift），而提供的相關(guān)文件則用于減少幻覺。

Semantic Search 到底是在做什么？
Semantic search（語義搜索）的核心在于通過特定的技術(shù)手段，實(shí)現(xiàn)對(duì)文件和 query 之間的語義匹配。它的起源可以追溯到理論計(jì)算機(jī)科學(xué)中的一個(gè)重要工具——metric embedding。在數(shù)學(xué)上，metric embedding 是將文件映射到一個(gè)高維的測(cè)度空間（metric space）中。

這個(gè)測(cè)度空間需要滿足泛函分析中的 Metric Distance Function（度量距離函數(shù)）的四個(gè)條件：自身距離為 0、兩個(gè)不同點(diǎn)的距離大于 0、距離對(duì)稱性以及三角不等式。

現(xiàn)代 Semantic search 并不一定局限于測(cè)度空間。在實(shí)際應(yīng)用中，它可能會(huì)使用一些非測(cè)度距離，例如非常常用且出名的 Cosine Distance（余弦距離）。這是因?yàn)?Cosine Distance 雖然不符合測(cè)度空間的嚴(yán)格定義，但在語義搜索中仍然能夠有效地衡量向量之間的相似性。

在 Semantic search 中，文件被嵌入到一個(gè)高維空間中，這個(gè)嵌入過程是通過一個(gè) embedding model 完成的。這個(gè)模型的作用是將文件映射為向量，并使得這些向量之間的距離能夠有意義地反映文件之間的語義關(guān)系，例如親密度或相似度等。

Semantic search 的本質(zhì)是將文件本身作為索引（document as index）。傳統(tǒng)數(shù)據(jù)檢索依賴于預(yù)設(shè)的索引，但這種方法的前提是用戶必須明確知道自己需要什么。然而，在許多情況下，用戶可能并不清楚具體需要什么文件。

Semantic search 解決了這一問題，它允許直接將文件作為索引，并通過 embedding 的形式與查詢進(jìn)行對(duì)比，從而最大限度地保證與查詢的適配性。

這種方式在不知道具體需要哪個(gè)文件的情況下，依然能夠找到最相關(guān)的文件，具有很大的靈活性。這種靈活性在處理低資源文件和長(zhǎng)文件時(shí)尤為突出，采用的模式稱為 Multi-Vector Retrieval（多向量檢索）。

例如，在構(gòu)建關(guān)于 Rust 代碼的向量數(shù)據(jù)庫時(shí)，會(huì)面臨一個(gè)典型問題：在 embedding 模型的訓(xùn)練過程中，模型接觸到的自然語言數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超過 Rust 代碼。

因此，embedding 模型更適合處理自然語言，而不是 Rust 代碼。然而，query 多數(shù)情況下是用自然語言提出的。這就需要一種方法，將 Rust 代碼相關(guān)的問題轉(zhuǎn)化為自然語言問題，以便模型能夠更好地適應(yīng)。

具體做法是利用自然語言，例如代碼注釋、README 文檔等來對(duì) Rust 代碼進(jìn)行索引。通過這種方式，向量化的文件索引也是基于自然語言的，查詢時(shí)對(duì)比的也是這種自然語言索引。這樣一來，檢索效率和準(zhǔn)確率都會(huì)顯著提高，當(dāng)然前提是自然語言索引本身是可靠的，否則將無法達(dá)到預(yù)期效果。

對(duì)于超長(zhǎng)文件的情況，如果需要完整檢索而不能將其分割成小塊（chunk），解決方案也很簡(jiǎn)單。可以使用文本的總結(jié)來對(duì)長(zhǎng)文本進(jìn)行索引，然后對(duì)文本總結(jié)進(jìn)行向量化索引。

正如計(jì)算機(jī)科學(xué)的偉大先驅(qū) David Wheeler 所說，“在計(jì)算機(jī)科學(xué)中，幾乎所有的復(fù)雜問題都可以通過增加一層迂回（indirection）來解決”，這實(shí)際上就是增加了一層迂回。這種方法的普適性非常高。

同樣的方法也可以應(yīng)用于多模態(tài)檢索。例如，當(dāng)一個(gè)包含圖像、表格和文本的文檔進(jìn)入系統(tǒng)時(shí)，可以將它們分開，并為每個(gè)部分生成一個(gè)標(biāo)簽。然后可以通過自然語言進(jìn)行檢索。

甚至可以將這種方法與多 Multi-Vector Retrieval 結(jié)合起來，使用 Multi-embedding 方式。例如，對(duì)于圖像，如果需要原始圖像，可以直接對(duì)其進(jìn)行嵌入；如果需要總結(jié)，則使用其總結(jié)進(jìn)行嵌入。方法多種多樣，能夠靈活應(yīng)對(duì)不同類型的檢索需求。

Semantic Search 看似行將就木，原因在于其本身缺乏明確的數(shù)據(jù)結(jié)構(gòu)。它本質(zhì)上是一堆向量的集合，這些向量簡(jiǎn)單地堆在一起，而沒有更深層次的組織形式。

在傳統(tǒng)的搜索方法中，通常會(huì)借助樹狀結(jié)構(gòu)或其他形式的索引關(guān)系來優(yōu)化搜索效率，但 Semantic Search 中并不存在這樣的結(jié)構(gòu)。原生的 RAG 系統(tǒng)本身也沒有任何系統(tǒng)化的結(jié)構(gòu)。

在 ANN（Approximate Nearest Neighbors，近似最近鄰）中所使用的結(jié)構(gòu)，雖然在某種程度上可以用于檢索小型數(shù)據(jù)庫，但它并不是為了構(gòu)建系統(tǒng)結(jié)構(gòu)而設(shè)計(jì)的。

然而，正如老子所說“無為而無不為”，他什么都不是，那就什么都可以是。正是因?yàn)?Semantic Search 沒有內(nèi)在的數(shù)據(jù)結(jié)構(gòu)，反而為其提供了極大的靈活性。這種靈活性使得我們可以為其賦予任何合適的數(shù)據(jù)結(jié)構(gòu)。

RAG 系統(tǒng)設(shè)計(jì)的關(guān)鍵之一，就是為 Semantic Search 提供一個(gè)數(shù)據(jù)結(jié)構(gòu)，使其更貼近數(shù)據(jù)的天然結(jié)構(gòu)。例如，如果數(shù)據(jù)的天然結(jié)構(gòu)是一棵樹，那么就可以將系統(tǒng)設(shè)計(jì)成樹狀結(jié)構(gòu)；如果數(shù)據(jù)的天然結(jié)構(gòu)是一根草，那么就可以設(shè)計(jì)成相應(yīng)的草狀結(jié)構(gòu)。

系統(tǒng)設(shè)計(jì)
系統(tǒng)設(shè)計(jì)是整個(gè)工作的重中之重。在深入探討之前，需要先強(qiáng)調(diào)一個(gè)重要的觀點(diǎn)：工程是取舍的藝術(shù)（Engineering is the Art of Trade-off）。這是我僅有的 3 年工程師生涯中領(lǐng)悟的最重要的道理，我覺得，這也是每一位工程師都必須深刻理解的核心理念。

工程師需要明確自己能夠做出什么樣的取舍權(quán)衡（trade-off），能夠接受什么，不能接受什么，以及可以在哪些方面做出犧牲，以換取其他方面的利益。這些是必須仔細(xì)考慮的問題。接下來所有的內(nèi)容都會(huì)是這個(gè)原則的拓展延伸

如何選擇 Loss Function？

在整個(gè)系統(tǒng)設(shè)計(jì)環(huán)節(jié)中，權(quán)衡是核心原則。以 Contrastive Loss（對(duì)比損失函數(shù)）為例。對(duì)比損失函數(shù)的公式，我們很明顯看得出他是一個(gè) switch loss. 什么意思呢？當(dāng)標(biāo)簽 y=0 時(shí)，1?y=1，因此公式中的一項(xiàng)被觸發(fā)，而另一項(xiàng)則不被觸發(fā)（switch）。

此時(shí)，損失值為 ，即距離的平方。當(dāng) y=1 時(shí)，1?y=0，只有另一項(xiàng)被觸發(fā)。公式中的 是一個(gè)縮放因子（scaling factor），通常不會(huì)對(duì)結(jié)果產(chǎn)生顯著影響。

因此，損失值為 。如果 大于 m，即距離大于閾值 m，那么 是一個(gè)負(fù)數(shù)，小于 0，因此損失值為 0。相反，如果 DW 小于 m，則損失值為正。

換句話說，對(duì)比損失函數(shù)的關(guān)鍵在于距離 。只要有距離存在，就會(huì)產(chǎn)生損失。這種損失會(huì)將相似的點(diǎn)（盡可能地拉到同一個(gè)點(diǎn)上，即把相似的樣本緊密地聚集在一起。

然而，往外推的機(jī)制僅在距離小于閾值 m 時(shí)起作用。如果距離超過了閾值 m，則對(duì)比損失函數(shù)不再對(duì)其產(chǎn)生影響。所以，一個(gè) batch 的 loss 是 0 的時(shí)候，可能你不需要太慌張。由此可知，Contrastive loss 形成的是多個(gè)相距 m 距離的緊密聚類，適用于結(jié)構(gòu)緊密，方差較小的數(shù)據(jù)。

接下來的例子是 Triplet Loss（三元組損失）。其中，d 表示距離，a 表示 anchor（錨點(diǎn)），p 表示 positive（正樣本）， n 表示 negative。Triplet Loss 的計(jì)算方式是：Anchor 到 Positive 的距離減去 Anchor 到 Negative 的距離，再加上一個(gè)閾值 m。

如果 Anchor 到 Positive 的距離減去 Anchor 到 Negative 的距離的絕對(duì)值小于閾值 m，那么損失值就不是 0；反之，如果這個(gè)絕對(duì)值大于或等于 m，那么損失值就是 0。

也就是說，Triplet Loss 并不關(guān)心 Negative 和 Positive 之間的距離有多遠(yuǎn)，它只關(guān)注這兩個(gè)點(diǎn)與 Anchor 之間距離的差值是否小于閾值 m。如果差值小于 m，它會(huì)將樣本向外推，使其滿足條件；如果差值已經(jīng)大于或等于 m，那么它就不再進(jìn)行優(yōu)化，損失值為 0。

在訓(xùn)練使用 Triplet Loss 和 contrastive loss 的模型時(shí)，都可能會(huì)出現(xiàn)整個(gè)批次的損失值為 0 的情況。這時(shí)不要急于下結(jié)論，這并不一定意味著模型過擬合?？赡苤皇乔珊希撆蔚臄?shù)據(jù)恰好滿足了損失函數(shù)的條件。因?yàn)?Triplet Loss 只關(guān)注 positive 和 negative 與 anchor 之間的相對(duì)距離，所以它很容易滿足條件，導(dǎo)致模型更新較少，收斂速度相對(duì)較慢。

此外，只有當(dāng)相對(duì)距離小于閾值 m 時(shí)，才會(huì)產(chǎn)生損失值。與對(duì)比 Contrastive Loss 不同，Triplet Loss 不會(huì)將所有相似的樣本強(qiáng)行聚到一個(gè)點(diǎn)上，因此同類內(nèi)方差（Intra-Clas Variance）較大。

它形成的聚類通常是距離大致等于 m 的較大范圍的集合，而不是緊密聚集在一起。這意味著一個(gè)類別中可以包含更多元的樣本。

Triplet Loss 特別適用于類內(nèi)方差較大的數(shù)據(jù)。例如，人臉數(shù)據(jù)就是一個(gè)很好的例子。很多人對(duì)人臉數(shù)據(jù)存在誤解，認(rèn)為同一個(gè)人的不同人臉圖像之間的差異很小，但實(shí)際上，同一個(gè)人在不同光照、角度、表情等條件下的臉可能有非常大的差距。

這就是為什么 triplet loss 是人臉識(shí)別的默認(rèn) loss。而那些沒有看過數(shù)據(jù)整天想當(dāng)然的工程師可能就會(huì)選用應(yīng)對(duì)小方差的 Contrastive loss。選擇損失函數(shù)的前提是必須充分了解數(shù)據(jù)，只有真正理解數(shù)據(jù)的特性，才能明確應(yīng)該采用什么樣的損失函數(shù)來指導(dǎo)模型訓(xùn)練。 對(duì)于其他各種損失函數(shù)，也可以用類似的方法進(jìn)行分析。

如何選擇 Distant Function?

在選擇 Distant Function 時(shí)，需要考慮其本質(zhì)是度量嵌入。從這個(gè)角度出發(fā)，幾乎所有的距離函數(shù)可以分為兩類：一是滿足度量空間（Metric Space）定義的距離函數(shù)，例如歐幾里得距離（Euclidean distance），也叫 L2 距離；二是不滿足度量空間定義的余弦距離（cosine distance）。

余弦距離不是度量距離的原因在于它不滿足度量空間的兩個(gè)基本條件：非負(fù)性（positivity）和三角不等式（triangle inequality）。大致證明如下：假設(shè)從原點(diǎn)出發(fā)有兩個(gè)不同的點(diǎn)，它們?cè)谕粭l直線上，但方向相反。

這兩個(gè)點(diǎn)的余弦相似度是相同的，這意味著它們的“距離”為 0，這顯然不符合非負(fù)性。此外，考慮三個(gè)點(diǎn) x = [1, 0]; y = [0, 1]; z = [1, 1],，余弦距離不滿足三角不等式，即兩邊之和小于第三邊。

盡管余弦距離不符合度量空間的定義，但它具有計(jì)算簡(jiǎn)單的優(yōu)勢(shì)，因?yàn)樗豢紤]方向，而與 Magnitude 無關(guān)。這使得余弦距離特別適合那些只關(guān)注方向的場(chǎng)景，例如在推薦系統(tǒng)中，如 Netflix 和 Spotify。

如果用戶喜歡搖滾音樂，那么所有與搖滾相關(guān)的方向都是相關(guān)的；如果用戶喜歡恐怖電影，那么所有與恐怖電影相關(guān)的方向也是相關(guān)的。在這種場(chǎng)景中，不需要考慮具體的數(shù)值，只需要確定方向即可。余弦距離的值域在 0 到 1 之間，也不會(huì)出現(xiàn)數(shù)值溢出的情況。

歐幾里得距離（Euclidean distance）與余弦距離不同，其計(jì)算相對(duì)復(fù)雜，需要考慮兩個(gè)點(diǎn)在空間中的實(shí)際距離。這有點(diǎn)類似于 Word2Vec 模型中通過訓(xùn)練得到的向量空間關(guān)系，例如“king – man = queen – woman”這種語義關(guān)系。

歐幾里得距離非常適合復(fù)雜場(chǎng)景，比如電商推薦。在這種場(chǎng)景中，方向只是考慮的一個(gè)方面，還需要關(guān)注細(xì)節(jié)。

然而，歐幾里得距離可能會(huì)出現(xiàn)數(shù)值溢出，因?yàn)樗且粋€(gè)無界的距離，其值可以非常大或非常小。此外，在高維空間中，歐幾里得距離可能會(huì)導(dǎo)致數(shù)據(jù)稀疏。

盡管歐幾里得距離存在這些缺點(diǎn)，但仍然需要討論它，因?yàn)樗且粋€(gè) metric distance。這意味著可以通過深度學(xué)習(xí)來模仿一個(gè) metric space。例如，假設(shè)使用對(duì)比損失函數(shù)，并且有越南語到中文的數(shù)據(jù)，但沒有越南語到圖片的數(shù)據(jù)。

在這種情況下，如果模型訓(xùn)練得當(dāng)，越南語到中文之間的距離最大為 m，中文到圖片的距離也最大為 m。根據(jù)三角不等式，越南語到圖片的距離最多為 2m。因此，通過將搜索范圍擴(kuò)大到 m，就可以找到想要的結(jié)果。

這是度量距離的一個(gè)非常強(qiáng)大的用途，即三角不等式的應(yīng)用。將模型訓(xùn)練到這種程度是具有極大難度的，雖然可以實(shí)現(xiàn)，但需要付出巨大的代價(jià)。這取決于是否愿意做出這種權(quán)衡。

如何選擇 Embedding 模型？

在選擇 Embedding 模型時(shí)，主要需要考慮的是 LLM 與 Encoder 之間的權(quán)衡。LLM 的歸納偏差（Inductive Bias）并不特別適合用于嵌入任務(wù)，但可以通過一些手段，如重復(fù)（repetition）來解決。

例如，將相同的內(nèi)容輸入兩次，最后一個(gè)輸出肯定包含了之前所有上下文的信息。然而，使用 LLM 進(jìn)行推理和訓(xùn)練的成本更高，需要更多的訓(xùn)練數(shù)據(jù)。正如 ViT 文章中提到的一句經(jīng)典觀點(diǎn)：“大規(guī)模訓(xùn)練勝過歸納偏差（Large scale training trumps inductive bias）”。

即使歸納偏差可能是錯(cuò)誤的，只要訓(xùn)練規(guī)模足夠大，模型仍然可以解決問題。相比之下，編碼器的歸納偏差更適合嵌入任務(wù)，因此可以用更小的模型達(dá)到相同的效果。

如下圖所示，NV embed-2 是一個(gè)擁有 70 多億參數(shù)的模型，其評(píng)分是 72.31。排名第 1。而 Stella 是一個(gè)只有 4.35 億參數(shù)的模型，其平均評(píng)分是 70.11。盡管兩者評(píng)分相差不大，但參數(shù)數(shù)量卻相差數(shù)倍。

這說明，如果真的需要那額外 2 分的性能，可以使用大模型，否則，一個(gè)小模型完全可以勝任嵌入任務(wù)。

一般來說，對(duì)于訓(xùn)練良好的模型，其優(yōu)先級(jí)順序?yàn)椋盒阅?/ 成本權(quán)衡（Performance/Cost trade-off）> 數(shù)據(jù)領(lǐng)域（Data domain）> 損失函數(shù)（Loss function）> 距離度量（Distance Metric）。

為什么呢？因?yàn)樵谟凶銐虻臄?shù)據(jù)進(jìn)行訓(xùn)練的情況下，損失函數(shù)和距離度量是可以靈活調(diào)整的。

例如，Contrastive Loss 訓(xùn)練的模型可以相對(duì)容易地改為 Triplet Loss，使用 Euclidean Distance 訓(xùn)練的模型也可以相對(duì)容易地改為 Cosine Distance。但是，性能與成本之間的權(quán)衡是難以改變的，除非進(jìn)行極端的優(yōu)化。因此，性能 / 成本權(quán)衡是更為重要的考慮因素。

如何選擇 Vector Database?

在選擇向量數(shù)據(jù)庫（Vector Database）時(shí)，首先需要考慮的是選擇開源還是閉源的解決方案。開源的向量數(shù)據(jù)庫通常具有靈活性，因?yàn)榭梢灾苯釉L問源代碼并根據(jù)需求進(jìn)行修改。閉源的向量數(shù)據(jù)庫則可能在安全性方面更具優(yōu)勢(shì)。此外，還需要考慮數(shù)據(jù)庫的實(shí)現(xiàn)語言，例如 Go、Rust、Java 或 C 等。

如果對(duì)隱私要求極高，無法使用云端服務(wù)，那么只能選擇本地部署 On-premise 的解決方案。如果可以使用云端服務(wù)，那么選擇的范圍會(huì)更廣。嵌入式模型（embedded model）是 LensDB 等系統(tǒng)采用的一種模式，這種模式在資源利用方面相對(duì)高效。

在索引（indexing）方面，目前主要考慮以下四種方式：哈希（hash）、樹（tree）、圖（graph）和倒排索引（inverted file index）。哈希索引的優(yōu)點(diǎn)是檢索速度快，能夠處理大規(guī)模數(shù)據(jù)，但其準(zhǔn)確度一般。

樹索引是 Spotify 等公司一直在使用的方案，它在低維數(shù)據(jù)上效果很好，但在高維數(shù)據(jù)上表現(xiàn)欠佳。圖索引（如 Hierarchical Navigable Small World，HNSW）對(duì)高維數(shù)據(jù)非常友好，且相對(duì)省內(nèi)存。在不確定使用哪種索引時(shí)，圖索引是一個(gè)不錯(cuò)的選擇，因?yàn)樗m用于大多數(shù)場(chǎng)景。

倒排索引（IVF）可以通過網(wǎng)格狀數(shù)據(jù)結(jié)構(gòu)迅速縮小搜索范圍，但其構(gòu)建過程可能較長(zhǎng)，可能需要使用乘積量化（product quantization）等手段來加速。

給 Semantic Search 一個(gè)結(jié)構(gòu)

系統(tǒng)設(shè)計(jì)的重點(diǎn)之一是為 Semantic Search 提供一個(gè)結(jié)構(gòu)。例如，對(duì)于類似教科書的數(shù)據(jù)，其天然結(jié)構(gòu)是分層的。以微積分教科書為例，可以將其分為導(dǎo)數(shù)章節(jié)、鏈?zhǔn)椒▌t小節(jié)等。對(duì)于代碼庫，可以將代碼文件和代碼片段進(jìn)行分層。

此外，還可以進(jìn)行 Context Enrichment，例如將文本分割成句子級(jí)別的塊，在精準(zhǔn)定位到某一句后，為其添加上下文信息。這種方法適用于新聞等場(chǎng)景，例如在抓取關(guān)鍵事件后補(bǔ)充前因后果。

對(duì)于案情報(bào)告，可以抓取關(guān)鍵犯罪信息，然后向上追溯審理過程，向下查找判決結(jié)果。還有一種方法是 Parent-child chunk retrieve，即當(dāng)需要檢索整個(gè)文件而非幾個(gè)片段時(shí)，可以將所有片段關(guān)聯(lián)到其所屬的文件。例如，在案情報(bào)告中抓取到犯罪信息后，可以直接檢索到完整的報(bào)告。

語義搜索可以與其他任何檢索方法結(jié)合使用。例如，可以同時(shí)使用向量索引（Vector index）和 BM25 等傳統(tǒng)檢索方法，將兩種方法的 Top-K 結(jié)果合并。向量索引可以是分層的，也可以是 Context Enrichment，具體取決于數(shù)據(jù)的結(jié)構(gòu)和需求。

Query Transformation

人類提出的 query 往往可能存在“文不達(dá)意”的情況，為了解決這一問題，可以利用 LLM 來生成一個(gè)更適合嵌入的新查詢。此外，LLM 甚至可以被專門訓(xùn)練以適應(yīng)特定的任務(wù)。

例如，可以采用“step back prompting”（后退提示）的方法。假設(shè)有人提出了一個(gè)關(guān)于物理的問題：已知壓力為 p，理想氣體的溫度增加了一倍（溫度乘以 2），體積增加了 8 倍（體積乘以 8），那么壓力 p 會(huì)如何變化？在這種情況下，可以通過“step back”來思考：這個(gè)問題背后涉及哪些物理原理？需要使用哪個(gè)公式？明確了公式之后，再進(jìn)一步分析問題。

如果原始查詢過于寬泛，可以將其拆分成多個(gè)更具體的子查詢，分別處理后再將結(jié)果融合在一起，從而減少混淆，最終得出更準(zhǔn)確的結(jié)果。這種方法特別適合處理復(fù)雜的系統(tǒng)問題。

還有一種方法是在模型給出回答后，給予一個(gè)反饋（reward）。模型會(huì)根據(jù)這個(gè)反饋進(jìn)行調(diào)整和重寫，這有點(diǎn)類似于“reflection”（反思）的過程，通過這種方式逐步優(yōu)化回答的質(zhì)量。

系統(tǒng)設(shè)計(jì)

系統(tǒng)設(shè)計(jì)可以采用 Multi-agent 架構(gòu)，這種方式特別適用于復(fù)雜的系統(tǒng)。因?yàn)闆]有任何一種數(shù)據(jù)結(jié)構(gòu)能夠完美適用于所有類型的數(shù)據(jù)，這與當(dāng)年提出的“沒有免費(fèi)午餐定理”（No Free Lunch Theorem）依然相符，在所有可能的問題上，沒有任何一種算法能夠普遍優(yōu)于其他算法。

在 Multi-agent 系統(tǒng)中，每個(gè)智能體都可以是一個(gè)完整的檢索系統(tǒng)。例如，一個(gè)智能體可能是基于 SQL 的檢索系統(tǒng)，另一個(gè)可能是基于最近搜索的系統(tǒng)，還有的可能是基于分層結(jié)構(gòu)的檢索系統(tǒng)。

當(dāng)然，這種架構(gòu)還需要實(shí)現(xiàn)查詢路由，即需要明確將查詢發(fā)送到哪個(gè) Agent 系統(tǒng)中進(jìn)行處理。

KG RAG

我們之前討論了多種數(shù)據(jù)結(jié)構(gòu)和系統(tǒng)設(shè)計(jì)方法，但似乎遺漏了一個(gè)非常重要的數(shù)據(jù)結(jié)構(gòu)——實(shí)體及其關(guān)系（Entities and their relationships）。這種數(shù)據(jù)結(jié)構(gòu)在自然界中非常常見，例如通過關(guān)系型數(shù)據(jù)庫來組織數(shù)據(jù)。

雖然我們確實(shí)可以用 Semantic Search 和向量數(shù)據(jù)庫來模擬這種數(shù)據(jù)結(jié)構(gòu)，但實(shí)際上沒有必要這么做。因?yàn)槲覀円呀?jīng)有了更專業(yè)的工具，那就是 KG（知識(shí)圖，Knowledge Graph）。

KG 是語義搜索中一個(gè)非常重要但又容易被忽視的部分。它雖然可以通過語義搜索來實(shí)現(xiàn)，但這并不是語義搜索的必要功能。知識(shí)圖譜的核心價(jià)值在于它能夠清晰地描述實(shí)體之間的關(guān)系，并將整個(gè)數(shù)據(jù)庫的內(nèi)容串聯(lián)起來。

例如，它可以回答“這個(gè)數(shù)據(jù)庫到底是什么主題的”這類全局性問題。知識(shí)圖譜的這種能力是其真正的閃光點(diǎn)。

KG 的構(gòu)建過程可以分為幾個(gè)步驟。首先，從一個(gè) Ontology 開始，然后通過充實(shí)細(xì)節(jié)將其擴(kuò)展為一個(gè)完整的知識(shí)圖譜。

在構(gòu)建知識(shí)圖譜時(shí)，思維方式應(yīng)該是面向?qū)ο蟮?。例如，作者（Author）和出版商（Publisher）之間的關(guān)系可以被清晰地定義。作者可以有多個(gè)子實(shí)體，例如海明威，莫言等。

KG-RAG（Knowledge Graph Retrieval-Augmented Generation，知識(shí)圖譜 RAG ）是為全局查詢和聚焦總結(jié)而設(shè)計(jì)的，而不是用于處理單個(gè)的點(diǎn)對(duì)點(diǎn)問題。這是知識(shí)圖譜的強(qiáng)項(xiàng)，因?yàn)樗軌蚯逦孛枋鰧?shí)體之間的關(guān)系，并將整個(gè)數(shù)據(jù)庫的內(nèi)容串聯(lián)起來。

在 KG 的構(gòu)建過程中，從源文檔中提取片段后，會(huì)進(jìn)行領(lǐng)域定制的總結(jié)，然后將片段轉(zhuǎn)化為元素，再從元素進(jìn)行進(jìn)一步總結(jié)，最終將元素提升為組。除了第一步之外，后續(xù)步驟都需要大量使用 LLM，因此成本非常高。KG-RAG 的成本大約是簡(jiǎn)單向量 RAG 的 1000 倍左右。

因此，盡管 KG-RAG 在理論上非常強(qiáng)大，但在實(shí)際應(yīng)用中，由于成本過高，導(dǎo)致其“叫好不叫座”，很多人覺得它很有潛力，但實(shí)際使用時(shí)卻因?yàn)槌杀締栴}而難以推廣。

為了解決這個(gè)問題，微軟的研究人員開始思考如何降低 KG-RAG 的成本。他們意識(shí)到，知識(shí)圖譜和語義搜索并不是互斥的，而是可以共存的。于是，他們提出了“Lazy Graph RAG”這種新的方法。

語義搜索可以被看作是一把“狙擊槍”，能夠直接找到最相關(guān)的幾個(gè)結(jié)果；而知識(shí)圖譜則更像是一個(gè)“breath-first search”，從一個(gè)切入點(diǎn)開始，能夠找到與之相關(guān)的所有信息。Lazy Graph RAG 的核心思想是利用語義搜索來彌補(bǔ)知識(shí)圖譜的不足。

通過這種設(shè)計(jì)，Lazy Graph RAG 能夠顯著降低索引構(gòu)建的成本，將其降低到與簡(jiǎn)單向量 RAG 相當(dāng)?shù)乃剑蠹s是上一代產(chǎn)品的 0.1%。由于成本的大幅降低，Lazy Graph RAG 可以更容易地?cái)U(kuò)展到大規(guī)模應(yīng)用中。低成本使得系統(tǒng)可以更靈活地?cái)U(kuò)展，從而更好地滿足實(shí)際需求。

KG-RAG 和 Semantic Search 在系統(tǒng)設(shè)計(jì)和資源利用的區(qū)別。

KG-RAG：當(dāng)數(shù)據(jù)可以通過實(shí)體和關(guān)系模型清晰地表示時(shí)，KG-RAG 是最優(yōu)選擇。它能夠充分利用知識(shí)圖譜的結(jié)構(gòu)化優(yōu)勢(shì)，處理復(fù)雜的全局查詢和總結(jié)任務(wù)。

Semantic Search：如果數(shù)據(jù)沒有現(xiàn)成的結(jié)構(gòu)化模型，或者需要快速搭建適合特定數(shù)據(jù)的檢索系統(tǒng)，Semantic Search 是一個(gè)靈活且高效的選擇。通過語義搜索，可以快速定位相關(guān)內(nèi)容，而無需依賴復(fù)雜的圖結(jié)構(gòu)。

Lazy Graph RAG 結(jié)合了兩者的優(yōu)點(diǎn)，通過語義搜索精準(zhǔn)定位，再利用知識(shí)圖譜的結(jié)構(gòu)化優(yōu)勢(shì)進(jìn)行擴(kuò)展，既降低了成本，又保持了高性能。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“為什么頂尖AI公司都在重構(gòu)RAG？語義搜索的隱藏王牌曝光”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對(duì)AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請(qǐng)關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！