哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“面向開發(fā)者的LLM入門教程-向量數(shù)據(jù)庫檢索”，并學(xué)會本篇文章中所講的全部知識點。還是那句話“不必遠征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

面向開發(fā)者的LLM入門教程-向量數(shù)據(jù)庫檢索：

檢索(Retrieval)

在構(gòu)建檢索增強生成 (RAG) 系統(tǒng)時，信息檢索是核心環(huán)節(jié)。檢索模塊負責(zé)對用戶查詢進行分析，從知識庫中快速定位相關(guān)文檔或段落，為后續(xù)的語言生成提供信息支持。檢索是指根據(jù)用戶的問題去向量數(shù)據(jù)庫中搜索與問題相關(guān)的文檔內(nèi)容，當(dāng)我們訪問和查詢向量數(shù)據(jù)庫時可能會運用到如下幾種技術(shù)：

· 基本語義相似度(Basic semantic similarity)
· 最大邊際相關(guān)性(Maximum marginal relevance，MMR)
· 過濾元數(shù)據(jù)
· LLM輔助檢索

使用基本的相似性搜索大概能解決你80%的相關(guān)檢索工作，但對于那些相似性搜索失敗的邊緣情況該如何解決呢？這一章節(jié)我們將介紹幾種檢索方法，以及解決檢索邊緣情況的技巧，讓我們一起開始學(xué)習(xí)吧！

向量數(shù)據(jù)庫檢索

本章節(jié)需要使用 lark 包，若環(huán)境中未安裝過此包，請運行以下命令安裝：

!pip install -Uq lark

1.相似性檢索（Similarity Search）

以我們的流程為例，前面課程已經(jīng)存儲了向量數(shù)據(jù)庫( VectorDB )，包含各文檔的語義向量表示。首先將上節(jié)課所保存的向量數(shù)據(jù)庫( VectorDB )加載進來：

from langchain.vectorstores import Chroma
from langchain.embeddings.openai import OpenAIEmbeddings
persist_directory_chinese = ‘docs/chroma/matplotlib/’
embedding = OpenAIEmbeddings()
vectordb_chinese = Chroma(
persist_directory=persist_directory_chinese,
embedding_function=embedding
)
print(vectordb_chinese._collection.count())

27

下面我們來實現(xiàn)一下語義的相似度搜索，我們把三句話存入向量數(shù)據(jù)庫Chroma中，然后我們提出問題讓向量數(shù)據(jù)庫根據(jù)問題來搜索相關(guān)答案：

texts_chinese = [
“””毒鵝膏菌（Amanita phalloides）具有大型且引人注目的地上（epigeous）子實體
（basidiocarp）”””,
“””一種具有大型子實體的蘑菇是毒鵝膏菌（Amanita phalloides）。某些品種全白。”””,
“””A. phalloides，又名死亡帽，是已知所有蘑菇中最有毒的一種。”””,
]

我們可以看到前兩句都是描述的是一種叫“鵝膏菌”的菌類，包括它們的特征：有較大的子實體，第三句描述的是“鬼筆甲”，一種已知的最毒的蘑菇，它的特征就是：含有劇毒。對于這個例子，我們將創(chuàng)建一個小數(shù)據(jù)庫，我們可以作為一個示例來使用。

smalldb_chinese = Chroma.from_texts(texts_chinese, embedding=embedding)

100%|██████████| 1/1 [00:00<00:00, 1.51it/s]

下面是我們對于這個示例所提出的問題：

question_chinese = “告訴我關(guān)于具有大型子實體的全白色蘑菇的信息”

現(xiàn)在，讓針對上面問題進行相似性搜索，設(shè)置 k=2 ，只返回兩個最相關(guān)的文檔。

smalldb_chinese.similarity_search(question_chinese, k=2)

[Document(page_content=’一種具有大型子實體的蘑菇是毒鵝膏菌（Amanita phalloides）。某些品
種全白。’, metadata={}),
Document(page_content=’毒鵝膏菌（Amanita phalloides）具有大型且引人注目的地上
（epigeous）子實體（basidiocarp）’, metadata={})]

我們現(xiàn)在可以看到，向量數(shù)據(jù)庫返回了 2 個文檔，就是我們存入向量數(shù)據(jù)庫中的第一句和第二句。這里我們很明顯的就可以看到 chroma 的 similarity_search（相似性搜索） 方法可以根據(jù)問題的語義去數(shù)據(jù)庫中搜索與之相關(guān)性最高的文檔，也就是搜索到了第一句和第二句的文本。但這似乎還存在一些問題，因為第一句和第二句的含義非常接近，他們都是描述“鵝膏菌”及其“子實體”的，所以假如只返回其中的一句就足以滿足要求了，如果返回兩句含義非常接近的文本感覺是一種資源的浪費。下面我們來看一下max_marginal_relevance_search 的搜索結(jié)果。

2.解決多樣性：最大邊際相關(guān)性(MMR)

最大邊際相關(guān)模型 (MMR，Maximal Marginal Relevance) 是實現(xiàn)多樣性檢索的常用算法。

MMR 的基本思想是同時考量查詢與文檔的相關(guān)度，以及文檔之間的相似度。相關(guān)度確保返回結(jié)果對查詢高度相關(guān)，相似度則鼓勵不同語義的文檔被包含進結(jié)果集。具體來說，它計算每個候選文檔與查詢的相關(guān)度，并減去與已經(jīng)選入結(jié)果集的文檔的相似度。這樣更不相似的文檔會有更高的得分。

總之，MMR 是解決檢索冗余問題、提供多樣性結(jié)果的一種簡單高效的算法。它平衡了相關(guān)性和多樣性，適用于對多樣信息需求較強的應(yīng)用場景。

我們來看一個利用 MMR 從蘑菇知識庫中檢索信息的示例。首先加載有關(guān)蘑菇的文檔，然后運行 MMR算法，設(shè)置 fetch_k 參數(shù)，用來告訴向量數(shù)據(jù)庫我們最終需要 k 個結(jié)果返回。fetch_k=3 ，也就是我們最初獲取 3 個文檔，k=2 表示返回最不同的 2 個文檔。

smalldb_chinese.max_marginal_relevance_search(question_chinese,k=2, fetch_k=3)

[Document(page_content=’一種具有大型子實體的蘑菇是毒鵝膏菌（Amanita phalloides）。某些品
種全白。’, metadata={}),
Document(page_content=’A. phalloides，又名死亡帽，是已知所有蘑菇中最有毒的一種。’,
metadata={})]

這里我們看到 max_marginal_relevance_search（最大邊際相關(guān)搜索） 返回了第二和第三句的文本，盡管第三句與我們的問題的相關(guān)性不太高，但是這樣的結(jié)果其實應(yīng)該是更加的合理，因為第一句和第二句文本本來就有著相似的含義，所以只需要返回其中的一句就可以了，另外再返回一個與問題相關(guān)性弱一點的答案(第三句文本)，這樣似乎增強了答案的多樣性，相信用戶也會更加偏愛

還記得在上一節(jié)中我們介紹了兩種向量數(shù)據(jù)在查詢時的失敗場景嗎？當(dāng)向量數(shù)據(jù)庫中存在相同的文檔時，而用戶的問題又與這些重復(fù)的文檔高度相關(guān)時，向量數(shù)據(jù)庫會出現(xiàn)返回重復(fù)文檔的情況?，F(xiàn)在我們就可以運用Langchain的 max_marginal_relevance_search 來解決這個問題：

我們首先看看前兩個文檔，只看前幾個字符，可以看到它們是相同的。

question_chinese = “Matplotlib是什么？”
docs_ss_chinese = vectordb_chinese.similarity_search(question_chinese,k=3)

print(“docs[0]: “)
print(docs_ss_chinese[0].page_content[:100])
print()
print(“docs[1]: “)
print(docs_ss_chinese[1].page_content[:100])

docs[0]:
第?回：Matplotlib 初相識
?、認識matplotlib
Matplotlib 是?個 Python 2D 繪圖庫，能夠以多種硬拷?格式和跨平臺的交互式環(huán)境?成出版物質(zhì)量的
圖形，?來繪制各種

docs[1]:
第?回：Matplotlib 初相識
?、認識matplotlib
Matplotlib 是?個 Python 2D 繪圖庫，能夠以多種硬拷?格式和跨平臺的交互式環(huán)境?成出版物質(zhì)量的
圖形，?來繪制各種

這里如果我們使用相似查詢，會得到兩個重復(fù)的結(jié)果，讀者可以自己嘗試一下，這里不再展示。我們可以使用 MMR 得到不一樣的結(jié)果。

docs_mmr_chinese =
vectordb_chinese.max_marginal_relevance_search(question_chinese,k=3)

當(dāng)我們運行 MMR 后得到結(jié)果時，我們可以看到第一個與之前的相同，因為那是最相似的。

print(docs_mmr_chinese[0].page_content[:100])

第?回：Matplotlib 初相識
?、認識matplotlib
Matplotlib 是?個 Python 2D 繪圖庫，能夠以多種硬拷?格式和跨平臺的交互式環(huán)境?成出版物質(zhì)量的圖形，?來繪制各種

但是當(dāng)我們進行到第二個時，我們可以看到它是不同的。

它在回應(yīng)中獲得了一些多樣性。

print(docs_mmr_chinese[1].page_content[:100])

By Datawhale 數(shù)據(jù)可視化開源?組
? Copyright ? Copyright 2021.y軸分為左右兩個，因此 tick1 對應(yīng)左側(cè)的軸； tick2 對應(yīng)右側(cè)的軸。
x軸分為上下兩個

從以上結(jié)果中可以看到，向量數(shù)據(jù)庫返回了 2 篇完全不同的文檔，這是因為我們使用的是 MMR 搜索，它把搜索結(jié)果中相似度很高的文檔做了過濾，所以它保留了結(jié)果的相關(guān)性又同時兼顧了結(jié)果的多樣性。

3.解決特殊性：使用元數(shù)據(jù)

關(guān)于失敗的應(yīng)用場景我們還提出了一個問題，是詢問了關(guān)于文檔中某一講的問題，但得到的結(jié)果中也包括了來自其他講的結(jié)果。這是我們所不希望看到的結(jié)果，之所以產(chǎn)生這樣的結(jié)果是因為當(dāng)我們向向量數(shù)據(jù)庫提出問題時，數(shù)據(jù)庫并沒有很好的理解問題的語義，所以返回的結(jié)果不如預(yù)期。要解決這個問題，我們可以通過過濾元數(shù)據(jù)的方式來實現(xiàn)精準搜索，當(dāng)前很多向量數(shù)據(jù)庫都支持對 元數(shù)據(jù)（metadata） 的操作：

metadata 為每個嵌入的塊(embedded chunk)提供上下文。

question_chinese = “他們在第二講中對Figure說了些什么？”

現(xiàn)在，我們以手動的方式來解決這個問題，我們會指定一個元數(shù)據(jù)過濾器 filter

docs_chinese = vectordb_chinese.similarity_search(
question_chinese,
k=3,
filter={“source”:”docs/matplotlib/第二回：藝術(shù)畫筆見乾坤.pdf”}
)

接下來，我們可以看到結(jié)果都來自對應(yīng)的章節(jié)

for d in docs_chinese:
print(d.metadata)

{‘source’: ‘docs/matplotlib/第二回：藝術(shù)畫筆見乾坤.pdf’, ‘page’: 9}
{‘source’: ‘docs/matplotlib/第二回：藝術(shù)畫筆見乾坤.pdf’, ‘page’: 10}
{‘source’: ‘docs/matplotlib/第二回：藝術(shù)畫筆見乾坤.pdf’, ‘page’: 0}

當(dāng)然，我們不能每次都采用手動的方式來解決這個問題，這會顯得不夠智能。下一小節(jié)中，我們將展示通過LLM來解決這個問題。

4.解決特殊性：在元數(shù)據(jù)中使用自查詢檢索器（LLM輔助檢索）

在上例中，我們手動設(shè)置了過濾參數(shù) filter 來過濾指定文檔。但這種方式不夠智能，需要人工指定過濾條件。如何自動從用戶問題中提取過濾信息呢？

LangChain提供了SelfQueryRetriever模塊，它可以通過語言模型從問題語句中分析出:
1. 向量搜索的查詢字符串(search term)
2. 過濾文檔的元數(shù)據(jù)條件(Filter)

以“除了維基百科,還有哪些健康網(wǎng)站”為例,SelfQueryRetriever可以推斷出“除了維基百科”表示需要過濾的條件,即排除維基百科的文檔。

它使用語言模型自動解析語句語義,提取過濾信息,無需手動設(shè)置。這種基于理解的元數(shù)據(jù)過濾更加智能方便,可以自動處理更復(fù)雜的過濾邏輯。

掌握利用語言模型實現(xiàn)自動化過濾的技巧,可以大幅降低構(gòu)建針對性問答系統(tǒng)的難度。這種自抽取查詢的方法使檢索更加智能和動態(tài)。

其原理如下圖所示：

下面我們就來實現(xiàn)一下LLM輔助檢索：

from langchain.llms import OpenAI
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain.chains.query_constructor.base import AttributeInfo

llm = OpenAI(temperature=0)

這里我們首先定義了 metadata_field_info_chinese ，它包含了元數(shù)據(jù)的過濾條件 source 和 page , 其中 source 的作用是告訴 LLM 我們想要的數(shù)據(jù)來自于哪里， page 告訴 LLM 我們需要提取相關(guān)的內(nèi)容在原始文檔的哪一頁。有了 metadata_field_info_chinese 信息后，LLM會自動從用戶的問題中提取出上中的 Filter 和 Search term 兩項，然后向量數(shù)據(jù)庫基于這兩項去搜索相關(guān)的內(nèi)容。下面我們看一下查詢結(jié)果：

metadata_field_info_chinese = [
AttributeInfo(
name=”source”,
description=”The lecture the chunk is from, should be one of
`docs/matplotlib/第一回：Matplotlib初相識.pdf`, `docs/matplotlib/第二回：藝術(shù)畫筆見乾
坤.pdf`, or `docs/matplotlib/第三回：布局格式定方圓.pdf`”,
type=”string”,
),
AttributeInfo(
name=”page”,
description=”The page from the lecture”,
type=”integer”,
),
]

document_content_description_chinese = “Matplotlib 課堂講義”
retriever_chinese = SelfQueryRetriever.from_llm(
llm,
vectordb_chinese,
document_content_description_chinese,
metadata_field_info_chinese,
verbose=True
)

question_chinese = “他們在第二講中對Figure做了些什么？”

當(dāng)你第一次執(zhí)行下一行時，你會收到關(guān)于predict_and_parse已被棄用的警告。 這可以安全地忽略。

docs_chinese = retriever_chinese.get_relevant_documents(question_chinese)

/root/autodl-tmp/env/gpt/lib/python3.10/sitepackages/langchain/chains/llm.py:275: UserWarning: The predict_and_parse method
is deprecated, instead pass an output parser directly to LLMChain.
warnings.warn(

query=’Figure’ filter=Comparison(comparator=,
attribute=’source’, value=’docs/matplotlib/第二回：藝術(shù)畫筆見乾坤.pdf’) limit=None

打印可以看到查詢結(jié)果，基于子查詢檢索器，我們檢索到的結(jié)果都是在第二回的文檔中：

for d in docs_chinese:
print(d.metadata)

{‘source’: ‘docs/matplotlib/第二回：藝術(shù)畫筆見乾坤.pdf’, ‘page’: 9}
{‘source’: ‘docs/matplotlib/第二回：藝術(shù)畫筆見乾坤.pdf’, ‘page’: 10}
{‘source’: ‘docs/matplotlib/第二回：藝術(shù)畫筆見乾坤.pdf’, ‘page’: 0}
{‘source’: ‘docs/matplotlib/第二回：藝術(shù)畫筆見乾坤.pdf’, ‘page’: 6}

5.其他技巧：壓縮

在使用向量檢索獲取相關(guān)文檔時，直接返回整個文檔片段可能帶來資源浪費，因為實際相關(guān)的只是文檔的一小部分。為改進這一點，LangChain提供了一種“ 壓縮 ”檢索機制。其工作原理是，先使用標(biāo)準向量檢索獲得候選文檔，然后基于查詢語句的語義，使用語言模型壓縮這些文檔,只保留與問題相關(guān)的部分。例如，對“蘑菇的營養(yǎng)價值”這個查詢，檢索可能返回整篇有關(guān)蘑菇的長文檔。經(jīng)壓縮后，只提取文檔中與“營養(yǎng)價值”相關(guān)的句子。

從上圖中我們看到，當(dāng)向量數(shù)據(jù)庫返回了所有與問題相關(guān)的所有文檔塊的全部內(nèi)容后，會有一個Compression LLM來負責(zé)對這些返回的文檔塊的內(nèi)容進行壓縮，所謂壓縮是指僅從文檔塊中提取出和用戶問題相關(guān)的內(nèi)容，并舍棄掉那些不相關(guān)的內(nèi)容。

from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import LLMChainExtractor
def pretty_print_docs(docs):
print(f”n{‘-‘ * 100}n”.join([f”Document {i+1}:nn” + d.page_content for i,
d in enumerate(docs)]))
llm = OpenAI(temperature=0)
compressor = LLMChainExtractor.from_llm(llm) # 壓縮器
compression_retriever_chinese = ContextualCompressionRetriever(
base_compressor=compressor,
base_retriever=vectordb_chinese.as_retriever()
)
# 對源文檔進行壓縮
question_chinese = “Matplotlib是什么？”
compressed_docs_chinese =
compression_retriever_chinese.get_relevant_documents(question_chinese)
pretty_print_docs(compressed_docs_chinese)

Document 1:
Matplotlib 是?個 Python 2D 繪圖庫，能夠以多種硬拷?格式和跨平臺的交互式環(huán)境?成出版物質(zhì)量的
圖形，?來繪制各種靜態(tài)，動態(tài)，交互式的圖表。
———————————————————————————
——————-
Document 2:
Matplotlib 是?個 Python 2D 繪圖庫，能夠以多種硬拷?格式和跨平臺的交互式環(huán)境?成出版物質(zhì)量的
圖形，?來繪制各種靜態(tài)，動態(tài)，交互式的圖表。

在上面的代碼中我們定義了一個 LLMChainExtractor ，它是一個壓縮器，它負責(zé)從向量數(shù)據(jù)庫返回的文檔塊中提取相關(guān)信息，然后我們還定義了 ContextualCompressionRetriever ，它有兩個參數(shù)：base_compressor 和 base_retriever，其中 base_compressor 是我們前面定義的 LLMChainExtractor的實例，base_retriever是早前定義的 vectordb 產(chǎn)生的檢索器。

現(xiàn)在當(dāng)我們提出問題后，查看結(jié)果文檔，我們可以看到兩件事。
1. 它們比正常文檔短很多
2. 仍然有一些重復(fù)的東西，這是因為在底層我們使用的是語義搜索算法。

從上述例子中，我們可以發(fā)現(xiàn)這種壓縮可以有效提升輸出質(zhì)量，同時節(jié)省通過長文檔帶來的計算資源浪費，降低成本。上下文相關(guān)的壓縮檢索技術(shù)，使得到的支持文檔更嚴格匹配問題需求，是提升問答系統(tǒng)效率的重要手段。讀者可以在實際應(yīng)用中考慮這一技術(shù)。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“面向開發(fā)者的LLM入門教程-向量數(shù)據(jù)庫檢索”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹記，精準提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！