哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“面向開發(fā)者的LLM入門課程-結(jié)合表征模型和向量存儲”，并學(xué)會本篇文章中所講的全部知識點。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

面向開發(fā)者的LLM入門課程-結(jié)合表征模型和向量存儲：

結(jié)合表征模型和向量存儲

由于語言模型的上下文長度限制，直接處理長文檔具有困難。為實現(xiàn)對長文檔的問答，我們可以引入向量嵌入(Embeddings)和向量存儲(Vector Store)等技術(shù)：

首先，使用文本嵌入(Embeddings)算法對文檔進(jìn)行向量化，使語義相似的文本片段具有接近的向量表示。其次，將向量化的文檔切分為小塊，存入向量數(shù)據(jù)庫，這個流程正是創(chuàng)建索引(index)的過程。向量數(shù)據(jù)庫對各文檔片段進(jìn)行索引，支持快速檢索。這樣，當(dāng)用戶提出問題時，可以先將問題轉(zhuǎn)換為向量，在數(shù)據(jù)庫中快速找到語義最相關(guān)的文檔片段。然后將這些文檔片段與問題一起傳遞給語言模型，生成回答。

通過嵌入向量化和索引技術(shù)，我們實現(xiàn)了對長文檔的切片檢索和問答。這種流程克服了語言模型的上下文限制，可以構(gòu)建處理大規(guī)模文檔的問答系統(tǒng)。

1.導(dǎo)入數(shù)據(jù)

#創(chuàng)建一個文檔加載器，通過csv格式加載
file = ‘../data/OutdoorClothingCatalog_1000.csv’
loader = CSVLoader(file_path=file)
docs = loader.load()

#查看單個文檔，每個文檔對應(yīng)于CSV中的一行數(shù)據(jù)
docs[0]

Document(page_content=”: 0nname: Women’s Campside Oxfordsndescription: This
ultracomfortable lace-to-toe Oxford boasts a super-soft canvas, thick cushioning,
and quality construction for a broken-in feel from the first time you put them
on. nnSize & Fit: Order regular shoe size. For half sizes not offered, order up
to next whole size. nnSpecs: Approx. weight: 1 lb.1 oz. per pair.
nnConstruction: Soft canvas material for a broken-in feel and look. Comfortable
EVA innersole with Cleansport NXT? antimicrobial odor control. Vintage hunt, fish
and camping motif on innersole. Moderate arch contour of innersole. EVA foam
midsole for cushioning and support. Chain-tread-inspired molded rubber outsole
with modified chain-tread pattern. Imported. nnQuestions? Please contact us for
any inquiries.”, metadata={‘source’: ‘../data/OutdoorClothingCatalog_1000.csv’,
‘row’: 0})

2.文本向量表征模型

#使用OpenAIEmbedding類
from langchain.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

#因為文檔比較短了，所以這里不需要進(jìn)行任何分塊,可以直接進(jìn)行向量表征
#使用初始化OpenAIEmbedding實例上的查詢方法embed_query為文本創(chuàng)建向量表征
embed = embeddings.embed_query(“你好呀，我的名字叫小可愛”)

#查看得到向量表征的長度
print(“n?33[32m向量表征的長度: ?33[0m n”, len(embed))

#每個元素都是不同的數(shù)字值，組合起來就是文本的向量表征
print(“n?33[32m向量表征前5個元素: ?33[0m n”, embed[:5])

向量表征的長度:
1536

向量表征前5個元素:
[-0.019283676849006164, -0.006842594710511029, -0.007344046732916966,
-0.024501312942119265, -0.026608679897592472]

3.基于向量表征創(chuàng)建并查詢向量存儲

# 將剛才創(chuàng)建文本向量表征(embeddings)存儲在向量存儲(vector store)中
# 使用DocArrayInMemorySearch類的from_documents方法來實現(xiàn)
# 該方法接受文檔列表以及向量表征模型作為輸入
db = DocArrayInMemorySearch.from_documents(docs, embeddings)

query = “請推薦一件具有防曬功能的襯衫”
#使用上面的向量存儲來查找與傳入查詢類似的文本，得到一個相似文檔列表
docs = db.similarity_search(query)
print(“n?33[32m返回文檔的個數(shù): ?33[0m n”, len(docs))
print(“n?33[32m第一個文檔: ?33[0m n”, docs[0])

返回文檔的個數(shù):
4

第一個文檔:
page_content=”: 535nname: Men’s TropicVibe Shirt, Short-Sleevendescription:
This Men’s sun-protection shirt with built-in UPF 50+ has the lightweight feel
you want and the coverage you need when the air is hot and the UV rays are
strong. Size & Fit: Traditional Fit: Relaxed through the chest, sleeve and waist.
Fabric & Care: Shell: 71% Nylon, 29% Polyester. Lining: 100% Polyester knit mesh.
UPF 50+ rated – the highest rated sun protection possible. Machine wash and dry.
Additional Features: Wrinkle resistant. Front and back cape venting lets in cool
breezes. Two front bellows pockets. Imported.nnSun Protection That Won’t Wear
Off: Our high-performance fabric provides SPF 50+ sun protection, blocking 98% of
the sun’s harmful rays.” metadata={‘source’:
‘../data/OutdoorClothingCatalog_1000.csv’, ‘row’: 535}

我們可以看到一個返回了四個結(jié)果。輸出的第一結(jié)果是一件關(guān)于防曬的襯衫，滿足我們查詢的要求： 請推薦一件具有防曬功能的襯衫

4.使用查詢結(jié)果構(gòu)造提示來回答問題

#導(dǎo)入大語言模型, 這里使用默認(rèn)模型gpt-3.5-turbo會出現(xiàn)504服務(wù)器超時，
#因此使用gpt-3.5-turbo-0301
llm = ChatOpenAI(model_name=”gpt-3.5-turbo-0301″,temperature = 0.0)

#合并獲得的相似文檔內(nèi)容
qdocs = “”.join([docs[i].page_content for i in range(len(docs))])

#將合并的相似文檔內(nèi)容后加上問題（question）輸入到 `llm.call_as_llm`中
#這里問題是：以Markdown表格的方式列出所有具有防曬功能的襯衫并總結(jié)
response = llm.call_as_llm(f”{qdocs}問題：請用markdown表格的方式列出所有具有防曬功能的襯
衫，對每件襯衫描述進(jìn)行總結(jié)”)

display(Markdown(response))

5.使用檢索問答鏈來回答問題

通過LangChain創(chuàng)建一個檢索問答鏈，對檢索到的文檔進(jìn)行問題回答。檢索問答鏈的輸入包含以下

· llm : 語言模型，進(jìn)行文本生成
· chain_type : 傳入鏈類型，這里使用stuff，將所有查詢得到的文檔組合成一個文檔傳入下一步。其他的方式包括：

1.Map Reduce： 將所有塊與問題一起傳遞給語言模型，獲取回復(fù)，使用另一個語言模型調(diào)用將所有單獨的回復(fù)總結(jié)成最終答案，它可以在任意數(shù)量的文檔上運行。可以并行處理單個問題，同時也需要更多的調(diào)用。它將所有文檔視為獨立的

2.Refine： 用于循環(huán)許多文檔，際上是迭代的，建立在先前文檔的答案之上，非常適合前后因果信息并隨時間逐步構(gòu)建答案，依賴于先前調(diào)用的結(jié)果。它通常需要更長的時間，并且基本上需要與Map Reduce一樣多的調(diào)用

3.Map Re-rank： 對每個文檔進(jìn)行單個語言模型調(diào)用，要求它返回一個分?jǐn)?shù)，選擇最高分，這依賴于語言模型知道分?jǐn)?shù)應(yīng)該是什么，需要告訴它，如果它與文檔相關(guān)，則應(yīng)該是高分，并在那里精細(xì)調(diào)整說明，可以批量處理它們相對較快，但是更加昂貴

· retriever :檢索器

#基于向量儲存，創(chuàng)建檢索器
retriever = db.as_retriever()

qa_stuff = RetrievalQA.from_chain_type(
llm=llm,
chain_type=”stuff”,
retriever=retriever,
verbose=True
)

#創(chuàng)建一個查詢并在此查詢上運行鏈
query = “請用markdown表格的方式列出所有具有防曬功能的襯衫，對每件襯衫描述進(jìn)行總結(jié)”

response = qa_stuff.run(query)

display(Markdown(response))

> Entering new RetrievalQA chain…
> Finished chain.

總結(jié)：這些襯衫都具有防曬功能，防曬等級為UPF 50+，可阻擋98%的紫外線。它們都是輕便的，防皺的，有前后背部通風(fēng)口和前面的褶皺口袋。其中女孩的長袖條紋襯衫是由尼龍Lycra?-彈性纖維混紡制成，快干，耐褪色，可與泳衣系列輕松搭配。

可以看到 5 和 6 部分的這兩個方式返回相同的結(jié)果。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“面向開發(fā)者的LLM入門課程-結(jié)合表征模型和向量存儲”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！