哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學習時間。今天，我們將一起深入AI的奇妙世界，探索“使用DeepSeek+RAG實現(xiàn)私人知識庫”，并學會本篇文章中所講的全部知識點。還是那句話“不必遠征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學有所成，學以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學習之旅吧。

使用DeepSeek+RAG實現(xiàn)私人知識庫：

本文詳細介紹了如何利用Ollama和AnythingLLM工具在本地部署DeepSeek模型，并構(gòu)建私人SAP知識庫。操作步驟包括：1）安裝Ollama并運行DeepSeek模型；2）上傳SAP文檔作為知識庫素材；3）使用AnythingLLM創(chuàng)建工作區(qū)并集成DeepSeek；4）通過向量數(shù)據(jù)庫嵌入文檔，實現(xiàn)基于文檔的智能問答。最終，用戶可通過AnythingLLM與DeepSeek交互，獲取基于上傳文檔的精準回答。本文還提到企業(yè)級用戶可通過私有部署提升數(shù)據(jù)安全性和響應速度，個人用戶則可選擇云服務（如騰訊云HAI）進行低成本嘗試。

實現(xiàn)工具與操作步驟
1.安裝Ollama并運行 DeepSeek

Ollama 是一個用于在本地環(huán)境運行大語言模型的工具。它允許開發(fā)者在本地 GUI 或者命令行加載和運行各種 AI 模型，而無需深入理解底層的機器學習框架。

Ollama 設計思路類似于 Docker，通過它管理的 AI 模型類似于 Docker Image，但 Ollama 專門針對 AI 模型進行了優(yōu)化。

Ollama 安裝成功之后，使用命令行 ollama run deepseek-r1:1.5b, 這個命令會自動下載 DeepSeek 模型到 HAI 并運行。1.5b 意思是下載參數(shù)個數(shù)為 15 億的 DeepSeek 版本，為了節(jié)省時間，筆者選擇了這個文件尺寸為 1.1 GB 的最精簡的模型。

耐心等待下載結(jié)束，看到命令行里彈出 think 提示符，輸入 who are you? 得到 DeepSeek 的自我介紹回復，說明 Ollama 和自動下載的 DeepSeek R1 已經(jīng)正常工作了。

2.上傳 SAP 文檔作為知識庫素材

既然是打造私人的 SAP 知識庫， 我們就需要給 DeepSeek 喂一些外部文檔作為知識庫的文檔素材。

在 Bing 搜索引擎里使用 site:sap.com filetype: pdf 隨便搜一些 SAP 官方發(fā)布的 PDF 來測試。在實際使用場景中，企業(yè)級客戶可以將自己的私密數(shù)據(jù)，喂給本地部署的大模型，而不用擔心隱私泄漏的問題。

這里我從 Bing 的搜索結(jié)果下載了一個名叫 SAP S4HANA private cloud – implementation guide.pdf 的文件。

3.使用AnythingLLM建立工作區(qū)

下一步，下載 AnythingLLM 并安裝。

AnythingLLM 是一個開源的 AI 工具，能夠方便地將用戶提供的各種格式的文檔，嵌入到自定義 AI 模型中，使其在同用戶對象中作為可參考上下文的一部分。這意味著通過 AnythingLLM, AI 模型在回答問題時，可以檢索和分析用戶提供的文檔，將其內(nèi)容整合作為最終的輸出，即本文開頭部分介紹的 RAG 工作方式。

AnythingLLM 安裝完畢之后，像使用 ABAP Development Tool 一樣，新建一個工作區(qū)(Workspace)：

點擊「聊天設置」：

還記得我們剛才下載的 Ollama 和通過 ollama run 命令下載的 DeepSeek R1 嗎？在工作區(qū) LLM 提供者的下拉菜單中，找到通過 Ollama 管理的 DeepSeek R1。

這個設置的意思是，我們接下來可以通過 AnythingLLM 提供的 GUI 窗口，同 DeepSeek 對話，可以同 Ollama 自帶的命令行窗口說再見了。

4.文檔嵌入與向量數(shù)據(jù)庫

接下來通過向量數(shù)據(jù)庫來上傳并存儲用戶提供的文檔。點擊上傳圖標，打開上傳對話框：

點擊 Upload 區(qū)域，將剛才從 Bing 搜索下載的 SAP S/4HANA private cloud PDF 文檔上傳：

待文檔上傳完畢，點擊 Save and Embed 按鈕，將文檔內(nèi)容轉(zhuǎn)換成向量數(shù)據(jù)并執(zhí)行嵌入操作。

向量數(shù)據(jù)庫是一種用于存儲和查詢高維向量數(shù)據(jù)的數(shù)據(jù)庫，其核心功能是提供高效的相似度搜索，使得查詢向量能夠找到與之最接近的向量。相比傳統(tǒng)關(guān)系型數(shù)據(jù)庫（如 MySQL、PostgreSQL），向量數(shù)據(jù)庫更適合存儲和檢索非結(jié)構(gòu)化數(shù)據(jù)，如文本、圖像、音頻等。

在 RAG 架構(gòu)中，向量數(shù)據(jù)庫的作用類似于一個知識庫，它存儲了大量文本片段的嵌入（Embeddings），當用戶輸入查詢時，模型會將查詢轉(zhuǎn)換為向量，并在數(shù)據(jù)庫中檢索最相關(guān)的向量，進而找到對應的文本內(nèi)容。這種方式大幅提高了生成式 AI 的可控性和可解釋性。

文檔嵌入（Embedding）是將文本數(shù)據(jù)轉(zhuǎn)換為向量的過程。這一過程的核心是將文本內(nèi)容映射到一個高維向量空間中。相似的文本在該空間中的距離較近，而不相關(guān)的文本距離較遠。

當然在實際企業(yè)級應用中，除了小規(guī)模的人工手動上傳文檔外，AnythingLLM 也支持通過 Data Connection 進行批量上傳大規(guī)模文檔，比如批量上傳某個 Github Repo 里的文件。這種模型下，AnythingLLM 讀取 Github 倉庫內(nèi)容的方式，通過 Access Token 完成。

等我們上傳的文件出現(xiàn)在工作區(qū)右邊區(qū)域后，說明文檔的向量化即嵌入操作已經(jīng)完成。

效果驗證

此時，我們回到 AnythingLLM 同 DeepSeek 的對話窗口，提出一個問題：

What is embedded EWM?

DeepSeek 給出的回答的確是基于我們剛剛上傳的 PDF 文件來完成的。

這一點可以從 DeepSeek 回復的 Citation 即引用區(qū)域得到證實，該區(qū)域顯示本次回答引用了 SAP S4HANA private cloud edition.pdf 這個文件。

后記：模型部署

對于企業(yè)級用戶而言，大模型的私有部署，在數(shù)據(jù)安全性、響應速度、可定制化、長期成本以及可靠性等多個方面都有著顯著優(yōu)勢。而對于個人 AI 學習者來說，可以選擇本地部署或者在某個云服務提供商的基礎設施(IaaS)上進行私有部署的嘗試。

筆者現(xiàn)在使用的筆記本電腦，本地部署滿血 DeepSeek 比較吃力。所以，我選擇了騰訊云 HAI，這樣就不用自己掏錢升級硬件了。

你可以登錄騰訊 HAI 控制臺，新建一個 Windows Server 實例：

使用 Windows 自帶的 Remote Desktop Connection 登錄到創(chuàng)建好的 HAI 實例上。

筆者之前曾發(fā)布過文章使用騰訊 HAI 5 分鐘內(nèi)部署一個私人定制的 DeepSeek，詳細介紹了采用私有部署方式運行 DeepSeek 的步驟，有興趣的小伙伴可前往了解。

通過本文展示的步驟，即使是一個不了解大語言模型底層實現(xiàn)細節(jié)的普通用戶，借助 Ollama 和 AnythingLLM 這兩個工具，也能輕松完成 DeepSeek 的本地部署，并打造自己的私人知識庫。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“使用DeepSeek+RAG實現(xiàn)私人知識庫”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹記，精準提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學習更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！