哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“面向開發(fā)者的LLM入門課程-創(chuàng)建LLM應(yīng)用”，并學(xué)會(huì)本篇文章中所講的全部知識(shí)點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

面向開發(fā)者的LLM入門課程-創(chuàng)建LLM應(yīng)用：

評估

評估是檢驗(yàn)語言模型問答質(zhì)量的關(guān)鍵環(huán)節(jié)。評估可以檢驗(yàn)語言模型在不同文檔上的問答效果，找出其弱點(diǎn)。還可以通過比較不同模型，選擇最佳系統(tǒng)。此外，定期評估也可以檢查模型質(zhì)量的衰減。評估通常有兩個(gè)目的：
· 檢驗(yàn)LLM應(yīng)用是否達(dá)到了驗(yàn)收標(biāo)準(zhǔn)
· 分析改動(dòng)對于LLM應(yīng)用性能的影響
基本的思路就是利用語言模型本身和鏈本身，來輔助評估其他的語言模型、鏈和應(yīng)用程序。我們還是以上一章節(jié)的文檔問答應(yīng)用為例，在本章節(jié)中討論如何在 LangChain 中處理和考慮評估的內(nèi)容。

創(chuàng)建LLM應(yīng)用

首先，按照 langchain 鏈的方式構(gòu)建一個(gè) LLM 的文檔問答應(yīng)用

from langchain.chains import RetrievalQA #檢索QA鏈，在文檔上進(jìn)行檢索
from langchain.chat_models import ChatOpenAI #openai模型
from langchain.document_loaders import CSVLoader #文檔加載器，采用csv格式存儲(chǔ)
from langchain.indexes import VectorstoreIndexCreator #導(dǎo)入向量存儲(chǔ)索引創(chuàng)建器
from langchain.vectorstores import DocArrayInMemorySearch #向量存儲(chǔ)
#加載中文數(shù)據(jù)
file = ‘../data/product_data.csv’
loader = CSVLoader(file_path=file)
data = loader.load()

#查看數(shù)據(jù)
import pandas as pd
test_data = pd.read_csv(file,skiprows=0)
display(test_data.head())

# 將指定向量存儲(chǔ)類,創(chuàng)建完成后，我們將從加載器中調(diào)用,通過文檔記載器列表加載

index = VectorstoreIndexCreator(
vectorstore_cls=DocArrayInMemorySearch
).from_loaders([loader])

#通過指定語言模型、鏈類型、檢索器和我們要打印的詳細(xì)程度來創(chuàng)建檢索QA鏈
llm = ChatOpenAI(temperature = 0.0)
qa = RetrievalQA.from_chain_type(
llm=llm,
chain_type=”stuff”,
retriever=index.vectorstore.as_retriever(),
verbose=True,
chain_type_kwargs = {
“document_separator”: “<<<<>>>>>”
}
)

上述代碼的主要功能及作用在上一章節(jié)中都已說明，這里不再贅述

1.設(shè)置測試的數(shù)據(jù)

我們查看一下經(jīng)過檔加載器 CSVLoad 加載后生成的 data 內(nèi)的信息，這里我們抽取 data 中的第九條和第十條數(shù)據(jù)，看看它們的主要內(nèi)容：

第九條數(shù)據(jù)：

data[10]

Document(page_content=”product_name: 高清電視機(jī)ndescription: 規(guī)格:n尺寸：50”。nn
為什么我們熱愛它:n我們的高清電視機(jī)擁有出色的畫質(zhì)和強(qiáng)大的音效，帶來沉浸式的觀看體驗(yàn)。nn材質(zhì)與
護(hù)理:n使用干布清潔。nn構(gòu)造:n由塑料、金屬和電子元件制成。nn其他特性:n支持網(wǎng)絡(luò)連接，可以
在線觀看視頻。n配備遙控器。n在韓國制造。nn有問題？請隨時(shí)聯(lián)系我們的客戶服務(wù)團(tuán)隊(duì)，他們會(huì)解答您
的所有問題。”, metadata={‘source’: ‘../data/product_data.csv’, ‘row’: 10})

第十條數(shù)據(jù)：

data[11]

Document(page_content=”product_name: 旅行背包ndescription: 規(guī)格:n尺寸：18” x 12”
x 6”。nn為什么我們熱愛它:n我們的旅行背包擁有多個(gè)實(shí)用的內(nèi)外袋，輕松裝下您的必需品，是短途旅
行的理想選擇。nn材質(zhì)與護(hù)理:n可以手洗，自然晾干。nn構(gòu)造:n由防水尼龍制成。nn其他特性:n
附帶可調(diào)節(jié)背帶和安全鎖。n在中國制造。nn有問題？請隨時(shí)聯(lián)系我們的客戶服務(wù)團(tuán)隊(duì)，他們會(huì)解答您的所
有問題。”, metadata={‘source’: ‘../data/product_data.csv’, ‘row’: 11})

看上面的第一個(gè)文檔中有高清電視機(jī)，第二個(gè)文檔中有旅行背包，從這些細(xì)節(jié)中，我們可以創(chuàng)建一些例子查詢和答案

2.手動(dòng)創(chuàng)建測試數(shù)據(jù)

需要說明的是這里我們的文檔是 csv 文件，所以我們使用的是文檔加載器是 CSVLoader ，CSVLoader 會(huì)對 csv 文件中的每一行數(shù)據(jù)進(jìn)行分割，所以這里看到的 data[10], data[11]的內(nèi)容則是 csv 文件中的第10條，第11條數(shù)據(jù)的內(nèi)容。下面我們根據(jù)這兩條數(shù)據(jù)手動(dòng)設(shè)置兩條“問答對”，每一個(gè)“問答對”中包含一個(gè)query ，一個(gè) answer ：

examples = [
{
“query”: “高清電視機(jī)怎么進(jìn)行護(hù)理？”,
“answer”: “使用干布清潔。”
},
{
“query”: “旅行背包有內(nèi)外袋嗎？”,
“answer”: “有。”
}
]

3.通過LLM生成測試用例

在前面的內(nèi)容中，我們使用的方法都是通過手動(dòng)的方法來構(gòu)建測試數(shù)據(jù)集，比如說我們手動(dòng)創(chuàng)建10個(gè)問題和10個(gè)答案，然后讓 LLM 回答這10個(gè)問題，再將 LLM 給出的答案與我們準(zhǔn)備好的答案做比較，最后再給 LLM 打分，評估的流程大概就是這樣。但是這里有一個(gè)問題，就是我們需要手動(dòng)去創(chuàng)建所有的問題集和答案集，那會(huì)是一個(gè)非常耗費(fèi)時(shí)間和人力的成本。那有沒有一種可以自動(dòng)創(chuàng)建大量問答測試集的方法呢？那當(dāng)然是有的，今天我們就來介紹 Langchain 提供的方法： QAGenerateChain ，我們可以通過QAGenerateChain 來為我們的文檔自動(dòng)創(chuàng)建問答集：

由于 QAGenerateChain 類中使用的 PROMPT 是英文，故我們繼承 QAGenerateChain 類，將 PROMPT 加上“請使用中文輸出”。下面是 generate_chain.py 文件中的 QAGenerateChain 類的源碼

from langchain.evaluation.qa import QAGenerateChain #導(dǎo)入QA生成鏈，它將接收文檔，并從
每個(gè)文檔中創(chuàng)建一個(gè)問題答案對

# 下面是langchain.evaluation.qa.generate_prompt中的源碼，在template的最后加上“請使用中文輸出”
from langchain.output_parsers.regex import RegexParser
from langchain.prompts import PromptTemplate
from langchain.base_language import BaseLanguageModel
from typing import Any

template = “””You are a teacher coming up with questions to ask on a quiz.
Given the following document, please generate a question and answer based on that document.

Example Format:

…

QUESTION: question here
ANSWER: answer here

These questions should be detailed and be based explicitly on information in the document. Begin!

{doc}

請使用中文輸出
“””
output_parser = RegexParser(
regex=r”QUESTION: (.*?)nANSWER: (.*)”, output_keys=[“query”, “answer”]
)
PROMPT = PromptTemplate(
input_variables=[“doc”], template=template, output_parser=output_parser
)

# 繼承QAGenerateChain
class ChineseQAGenerateChain(QAGenerateChain):
“””LLM Chain specifically for generating examples for question answering.”””

@classmethod
def from_llm(cls, llm: BaseLanguageModel, **kwargs: Any) -> QAGenerateChain:
“””Load QA Generate Chain from LLM.”””
return cls(llm=llm, prompt=PROMPT, **kwargs)

example_gen_chain = ChineseQAGenerateChain.from_llm(ChatOpenAI())#通過傳遞chat
open AI語言模型來創(chuàng)建這個(gè)鏈
new_examples = example_gen_chain.apply([{“doc”: t} for t in data[:5]])

#查看用例數(shù)據(jù)
new_examples

[{‘qa_pairs’: {‘query’: ‘這款全自動(dòng)咖啡機(jī)的尺寸是多少？’,
‘answer’: “大型尺寸為13.8” x 17.3”，中型尺寸為11.5” x 15.2”。”}},
{‘qa_pairs’: {‘query’: ‘這款電動(dòng)牙刷的規(guī)格是什么？’, ‘answer’: “一般大小 – 高度：
9.5”，寬度：1”。”}},
{‘qa_pairs’: {‘query’: ‘這種產(chǎn)品的名稱是什么？’, ‘answer’: ‘這種產(chǎn)品的名稱是橙味維生素C
泡騰片。’}},
{‘qa_pairs’: {‘query’: ‘這款無線藍(lán)牙耳機(jī)的尺寸是多少？’,
‘answer’: “該無線藍(lán)牙耳機(jī)的尺寸為1.5” x 1.3”。”}},
{‘qa_pairs’: {‘query’: ‘這款瑜伽墊的尺寸是多少？’, ‘answer’: “這款瑜伽墊的尺寸是24” x
68”。”}}]

在上面的代碼中，我們創(chuàng)建了一個(gè) QAGenerateChain ，然后我們應(yīng)用了 QAGenerateChain 的 apply 方法對 data 中的前5條數(shù)據(jù)創(chuàng)建了5個(gè)“問答對”，由于創(chuàng)建問答集是由 LLM 來自動(dòng)完成的，因此會(huì)涉及到token 成本的問題，所以我們這里出于演示的目的，只對 data 中的前5條數(shù)據(jù)創(chuàng)建問答集。

new_examples[0]

{‘qa_pairs’: {‘query’: ‘這款全自動(dòng)咖啡機(jī)的尺寸是多少？’, ‘answer’: “大型尺寸為13.8” x 17.3”，中型尺寸為11.5” x 15.2”。”}}

源數(shù)據(jù)：

data[0]

Document(page_content=”product_name: 全自動(dòng)咖啡機(jī)ndescription: 規(guī)格:n大型 – 尺寸：
13.8” x 17.3”。n中型 – 尺寸：11.5” x 15.2”。nn為什么我們熱愛它:n這款全自動(dòng)咖啡機(jī)
是愛好者的理想選擇。 一鍵操作，即可研磨豆子并沏制出您喜愛的咖啡。它的耐用性和一致性使它成為家庭和
辦公室的理想選擇。nn材質(zhì)與護(hù)理:n清潔時(shí)只需輕擦。nn構(gòu)造:n由高品質(zhì)不銹鋼制成。nn其他特
性:n內(nèi)置研磨器和濾網(wǎng)。n預(yù)設(shè)多種咖啡模式。n在中國制造。nn有問題？ 請隨時(shí)聯(lián)系我們的客戶服務(wù)
團(tuán)隊(duì)，他們會(huì)解答您的所有問題。”, metadata={‘source’: ‘../data/product_data.csv’,
‘row’: 0})

4.整合測試集

還記得我們前面手動(dòng)創(chuàng)建的兩個(gè)問答集嗎？現(xiàn)在我們需要將之前手動(dòng)創(chuàng)建的問答集合并到QAGenerateChain 創(chuàng)建的問答集中，這樣在答集中既有手動(dòng)創(chuàng)建的例子又有 llm 自動(dòng)創(chuàng)建的例子，這會(huì)使我們的測試集更加完善。

接下來我們就需要讓之前創(chuàng)建的文檔問答鏈 qa 來回答這個(gè)測試集里的問題，來看看 LLM 是怎么回答的吧：

examples += [ v for item in new_examples for k,v in item.items()]
qa.run(examples[0][“query”])

> Entering new RetrievalQA chain…
> Finished chain.

‘高清電視機(jī)的護(hù)理非常簡單。您只需要使用干布清潔即可。避免使用濕布或化學(xué)清潔劑，以免損壞電視機(jī)的表面。’

這里我們看到 qa 回答了第0個(gè)問題：”高清電視機(jī)怎么進(jìn)行護(hù)理？” ，這里的第0個(gè)問題就是先前我們手動(dòng)創(chuàng)建的第一個(gè)問題，并且我們手動(dòng)創(chuàng)建的 answer 是：”使用干布清潔。” 這里我們發(fā)現(xiàn)問答鏈 qa 回答的也是“您只需要使用干布清潔即可”，只是它比我們的答案還多了一段說明：“高清電視機(jī)的護(hù)理非常簡單。您只需要使用干布清潔即可。避免使用濕布或化學(xué)清潔劑，以免損壞電視機(jī)的表面?！?/p>

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“面向開發(fā)者的LLM入門課程-創(chuàng)建LLM應(yīng)用”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！