哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“面向開發(fā)者的LLM入門課程-對話字符緩存儲存”，并學(xué)會本篇文章中所講的全部知識點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

面向開發(fā)者的LLM入門課程-對話字符緩存儲存：

對話字符緩存儲存

使用對話字符緩存記憶，內(nèi)存將限制保存的token數(shù)量。如果字符數(shù)量超出指定數(shù)目，它會切掉這個(gè)對話的早期部分

以保留與最近的交流相對應(yīng)的字符數(shù)量，但不超過字符限制。

添加對話到Token緩存儲存,限制token數(shù)量，進(jìn)行測試

from langchain.llms import OpenAI
from langchain.memory import ConversationTokenBufferMemory
memory = ConversationTokenBufferMemory(llm=llm, max_token_limit=30)
memory.save_context({“input”: “朝辭白帝彩云間，”}, {“output”: “千里江陵一日還。”})
memory.save_context({“input”: “兩岸猿聲啼不住，”}, {“output”: “輕舟已過萬重山。”})
memory.load_memory_variables({})

{‘history’: ‘AI: 輕舟已過萬重山。’}

ChatGPT 使用一種基于字節(jié)對編碼（Byte Pair Encoding，BPE）的方法來進(jìn)行 tokenization （將輸入文本拆分為token）。BPE 是一種常見的 tokenization 技術(shù)，它將輸入文本分割成較小的子詞單元。OpenAI 在其官方 GitHub 上公開了一個(gè)最新的開源 Python 庫 tiktoken(https://github.com/openai/tiktoken)，這個(gè)庫主要是用來計(jì)算 tokens 數(shù)量的。相比較 HuggingFace 的 tokenizer ，其速度提升了好幾倍。

具體 token 計(jì)算方式,特別是漢字和英文單詞的 token 區(qū)別，具體可參考知乎文章(https://www.zhihu.com/question/594159910)。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“面向開發(fā)者的LLM入門課程-對話字符緩存儲存”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！