哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“面向開發(fā)者的LLM入門教程-深入探究檢索式問答鏈”，并學(xué)會本篇文章中所講的全部知識點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

面向開發(fā)者的LLM入門教程-深入探究檢索式問答鏈：

深入探究檢索式問答鏈

在獲取與問題相關(guān)的文檔后，我們需要將文檔和原始問題一起輸入語言模型，生成回答。默認(rèn)是合并所有文檔，一次性輸入模型。但存在上下文長度限制的問題，若相關(guān)文檔量大，難以一次將全部輸入模型。針對這一問題，本章將介紹 MapReduce 、Refine 和 MapRerank 三種策略。

· MapReduce 通過多輪檢索與問答實(shí)現(xiàn)長文檔處理
· Refine 讓模型主動請求信息
· MapRerank 則通過問答質(zhì)量調(diào)整文檔順序。

三種策略各有優(yōu)劣 MapReduce 分批處理長文檔，Refine 實(shí)現(xiàn)可交互問答，MapRerank 優(yōu)化信息順序，掌握這些技巧，可以應(yīng)對語言模型的上下文限制，解決長文檔問答困難，提升問答覆蓋面。

通過上述代碼，我們可以實(shí)現(xiàn)一個(gè)簡單的檢索式問答鏈。接下來，讓我們深入其中的細(xì)節(jié)，看看在這個(gè)檢索式問答鏈中，LangChain 都做了些什么。

1.基于模板的檢索式問答鏈

我們首先定義了一個(gè)提示模板。它包含一些關(guān)于如何使用下面的上下文片段的說明，然后有一個(gè)上下文變量的占位符。

# 中文版
from langchain.prompts import PromptTemplate
# Build prompt
template = “””使用以下上下文片段來回答最后的問題。如果你不知道答案，只需說不知道，不要試圖編造
答案。答案最多使用三個(gè)句子。盡量簡明扼要地回答。在回答的最后一定要說”感謝您的提問！”
{context}
問題：{question}
有用的回答：”””
QA_CHAIN_PROMPT = PromptTemplate.from_template(template)

接著我們基于該模板來構(gòu)建檢索式問答鏈：

# Run chain
qa_chain = RetrievalQA.from_chain_type(
llm,
retriever=vectordb.as_retriever(),
return_source_documents=True,
chain_type_kwargs={“prompt”: QA_CHAIN_PROMPT}
)

構(gòu)建出的檢索式問答鏈?zhǔn)褂梅椒ㄍ希?/p>

question = “這門課會學(xué)習(xí) Python 嗎”
result = qa_chain({“query”: question})
print(result[“result”])

根據(jù)上下文，這門課程主要是關(guān)于 Matplotlib 數(shù)據(jù)可視化庫的使用和基礎(chǔ)知識的介紹，Python 是使用
Matplotlib 的編程語言，因此在學(xué)習(xí)過程中會涉及到 Python 的使用。但是這門課程的重點(diǎn)是
Matplotlib，而不是 Python 語言本身。感謝您的提問！

可以查看其檢索到的源文檔：

print(result[“source_documents”][0])

page_content=’第?回：Matplotlib 初相識n?、認(rèn)識matplotlibnMatplotlib 是?個(gè) Python
2D 繪圖庫，能夠以多種硬拷?格式和跨平臺的交互式環(huán)境?成出版物質(zhì)量的圖形，?來繪制各種靜態(tài)，動態(tài)，
n交互式的圖表。nMatplotlib 可?于 Python 腳本， Python 和 IPython Shell 、 Jupyter
notebook ， Web 應(yīng)?程序服務(wù)器和各種圖形?戶界??具包等。nMatplotlib 是 Python 數(shù)據(jù)可視
化庫中的泰?，它已經(jīng)成為 python 中公認(rèn)的數(shù)據(jù)可視化?具，我們所熟知的 pandas 和 seaborn 的繪
圖接?n其實(shí)也是基于 matplotlib 所作的?級封裝。n為了對matplotlib 有更好的理解，讓我們從?
些最基本的概念開始認(rèn)識它，再逐漸過渡到?些?級技巧中。n?、?個(gè)最簡單的繪圖例?nMatplotlib 的
圖像是畫在 figure （如 windows ， jupyter 窗體）上的，每?個(gè) figure ?包含了?個(gè)或多個(gè)
axes （?個(gè)可以指定坐標(biāo)系的?區(qū)n域）。最簡單的創(chuàng)建 figure 以及 axes 的?式是通過
pyplot.subplots命令，創(chuàng)建 axes 以后，可以使? Axes.plot繪制最簡易的折線圖。nimport
matplotlib.pyplot as pltnimport matplotlib as mplnimport numpy as npnfig, ax =
plt.subplots() # 創(chuàng)建?個(gè)包含?個(gè) axes 的 figurenax.plot([1, 2, 3, 4], [1, 4, 2,
3]); # 繪制圖像nTrick： 在jupyter notebook 中使? matplotlib 時(shí)會發(fā)現(xiàn)，代碼運(yùn)?后?動
打印出類似 n這樣?段話，這是因?yàn)?matplotlib
的繪圖代碼默認(rèn)打印出最后?個(gè)對象。如果不想顯示這句話，有以下三種?法，在本章節(jié)的代碼示例n中你能
找到這三種?法的使?。nx00. 在代碼塊最后加?個(gè)分號 ;nx00. 在代碼塊最后加?句
plt.show()nx00. 在繪圖時(shí)將繪圖對象顯式賦值給?個(gè)變量，如將 plt.plot([1, 2, 3, 4]) 改成
line =plt.plot([1, 2, 3, 4])n和MATLAB 命令類似，你還可以通過?種更簡單的?式繪制圖像，
matplotlib.pyplot?法能夠直接在當(dāng)前 axes 上繪制圖像，如果?戶n未指定axes ， matplotlib
會幫你?動創(chuàng)建?個(gè)。所以上?的例?也可以簡化為以下這??代碼。nline =plt.plot([1, 2, 3,
4], [1, 4, 2, 3]) n三、Figure 的組成n現(xiàn)在我們來深?看?下 figure 的組成。通過?張
figure 解剖圖，我們可以看到?個(gè)完整的 matplotlib 圖像通常會包括以下四個(gè)層級，這些n層級也被稱
為容器（ container ），下?節(jié)會詳細(xì)介紹。在 matplotlib 的世界中，我們將通過各種命令?法來操縱
圖像中的每?個(gè)部分，n從?達(dá)到數(shù)據(jù)可視化的最終效果，?副完整的圖像實(shí)際上是各類?元素的集合。
nFigure：頂層級，?來容納所有繪圖元素’ metadata={‘source’: ‘docs/matplotlib/第一回：
Matplotlib初相識.pdf’, ‘page’: 0}

這種方法非常好，因?yàn)樗簧婕皩φZ言模型的一次調(diào)用。然而，它也有局限性，即如果文檔太多，可能無法將它們?nèi)窟m配到上下文窗口中。我們可以使用另一種技術(shù)來對文檔進(jìn)行問答，即 MapReduce 技術(shù)。

2.基于MapReduce的檢索式問答鏈

在 MapReduce 技術(shù)中，首先將每個(gè)獨(dú)立的文檔單獨(dú)發(fā)送到語言模型以獲取原始答案。然后，這些答案通過最終對語言模型的一次調(diào)用組合成最終的答案。雖然這樣涉及了更多對語言模型的調(diào)用，但它的優(yōu)勢在于可以處理任意數(shù)量的文檔。

qa_chain_mr = RetrievalQA.from_chain_type(
llm,
retriever=vectordb.as_retriever(),
chain_type=”map_reduce”
)
question = “這門課會學(xué)習(xí) Python 嗎”
result = qa_chain_mr({“query”: question})
print(result[“result”])

無法確定，給出的文本并沒有提到這門課是否會學(xué)習(xí) Python。

當(dāng)我們將之前的問題通過這個(gè)鏈進(jìn)行運(yùn)行時(shí)，我們可以看到這種方法的兩個(gè)問題。第一，速度要慢得多。第二，結(jié)果實(shí)際上更差。根據(jù)給定文檔的這一部分，對這個(gè)問題并沒有明確的答案。這可能是因?yàn)樗腔诿總€(gè)文檔單獨(dú)回答的。因此，如果信息分布在兩個(gè)文檔之間，它并沒有在同一上下文中獲取到所有的信息。

#import os
#os.environ[“LANGCHAIN_TRACING_V2”] = “true”
#os.environ[“LANGCHAIN_ENDPOINT”] = “https://api.langchain.plus”
#os.environ[“LANGCHAIN_API_KEY”] = “…” # replace dots with your api key

我們可導(dǎo)入上述環(huán)境變量，然后探尋 MapReduce 文檔鏈的細(xì)節(jié)。例如，上述演示中，我們實(shí)際上涉及了四個(gè)單獨(dú)的對語言模型的調(diào)用。在運(yùn)行完每個(gè)文檔后，它們會在最終鏈?zhǔn)街薪M合在一起，即 StuffedDocuments 鏈，將所有這些回答合并到最終的調(diào)用中。

3.基于Refine的檢索式問答鏈

我們還可以將鏈?zhǔn)筋愋驮O(shè)置為 Refine ，這是一種新的鏈?zhǔn)讲呗浴efine 文檔鏈類似于 MapReduce ，對于每一個(gè)文檔，會調(diào)用一次 LLM。但改進(jìn)之處在于，最終輸入語言模型的 Prompt 是一個(gè)序列，將之前的回復(fù)與新文檔組合在一起，并請求得到改進(jìn)后的響應(yīng)。因此，這是一種類似于 RNN 的概念，增強(qiáng)了上下文信息，從而解決信息分布在不同文檔的問題。

例如第一次調(diào)用，Prompt 包含問題與文檔 A ，語言模型生成初始回答。第二次調(diào)用，Prompt 包含第一次回復(fù)、文檔 B ，請求模型更新回答，以此類推。

qa_chain_mr = RetrievalQA.from_chain_type(
llm,
retriever=vectordb.as_retriever(),
chain_type=”refine”
)
question = “這門課會學(xué)習(xí) Python 嗎”
result = qa_chain_mr({“query”: question})
print(result[“result”])

Refined answer:
The course is about learning Matplotlib, a Python 2D plotting library used for
creating publication-quality figures in various formats and platforms. Matplotlib
can be used in Python scripts, IPython Shell, Jupyter notebook, web application
servers, and various graphical user interface toolkits. The course will cover
basic concepts of Matplotlib and gradually transition to advanced techniques. The
course will also cover the components of a Matplotlib figure, including the
Figure, Axes, and various sub-elements. The course will provide a general
plotting template that can be used to create various types of plots. The template
follows the Object-Oriented (OO) mode of Matplotlib, but the course will also
cover the pyplot mode. Therefore, the course will involve learning Python and
Matplotlib for data visualization using both OO and pyplot modes.

In terms of the advantages and disadvantages of the two modes, the OO mode is
more flexible and powerful, allowing for more customization and control over the
plot elements. However, it requires more code and can be more complex for
beginners. On the other hand, the pyplot mode is simpler and easier to use, but
it may not provide as much flexibility and control as the OO mode. The pyplot
mode is more suitable for quick and simple plots, while the OO mode is more
suitable for complex and customized plots.
Here is an example of a simple pyplot mode plotting template:
“`
import matplotlib.pyplot as plt
import numpy as np
# Step 1: Prepare data
x = np.linspace(0, 2, 100)
y = x**2
# Step 2: Plot data
plt.plot(x, y)
# Step 3: Customize plot
plt.xlabel(‘x label’)
plt.ylabel(‘y label’)
plt.title(‘Simple Plot’)
# Step 4: Show plot
plt.show()
“`
This template can be used to create a simple plot with x and y labels and a
title. Additional customization can be added using various pyplot functions.

你會注意到，這個(gè)結(jié)果比 MapReduce 鏈的結(jié)果要好。這是因?yàn)槭褂?Refine 文檔鏈通過累積上下文，使語言模型能漸進(jìn)地完善答案，而不是孤立處理每個(gè)文檔。這種策略可以有效解決信息分散帶來的語義不完整問題。但是請注意，由于 LangChain 內(nèi)部的限制，定義為 Refine 的問答鏈會默認(rèn)返回英文作為答案。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“面向開發(fā)者的LLM入門教程-深入探究檢索式問答鏈”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！