哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“張向征：大模型安全研究與實踐”，并學(xué)會本篇文章中所講的全部知識點。還是那句話“不必遠征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

張向征：大模型安全研究與實踐：

隨著大模型在行業(yè)的落地，大模型逐步成為數(shù)智化系統(tǒng)的關(guān)鍵基礎(chǔ)設(shè)施，其潛在的主體地位和應(yīng)用廣度，也帶來了新的安全風(fēng)險和安全挑戰(zhàn)。企業(yè)研發(fā)和應(yīng)用大模型的過程中，如何正確認識大模型的安全風(fēng)險，更好的發(fā)現(xiàn)、評估和解決相應(yīng)的安全問題，對于模型落地至關(guān)重要。

在不久前舉辦的 AICon 全球人工智能開發(fā)與應(yīng)用大會上 360 智腦總裁張向征為我們帶來了精彩專題演講“大模型安全研究與實踐”，演講介紹大模型落地過程中的各類安全風(fēng)險，然后從系統(tǒng)安全、內(nèi)容安全、內(nèi)容可信三個方面講述遇到的技術(shù)挑戰(zhàn)和研究進展，并結(jié)合不同場景給出大模型安全的解決方案。

內(nèi)容亮點：

? 了解大模型落地過程中的各類安全風(fēng)險

? 了解大模型安全技術(shù)挑戰(zhàn)和研究進展

? 了解大模型安全解決方案

以下是演講實錄（經(jīng) InfoQ 進行不改變原意的編輯整理）。

從去年到今年，我們已經(jīng)看到大模型在多個行業(yè)中的應(yīng)用，尤其是在面向消費者的產(chǎn)品和服務(wù)中。人們普遍認識到大模型為業(yè)務(wù)帶來的積極影響，許多客戶在購買大模型解決方案時，更傾向于關(guān)注它們?nèi)绾螏椭鷺I(yè)務(wù)發(fā)展和解決用戶問題。然而，對于大模型背后存在的潛在風(fēng)險，人們的關(guān)注度似乎還不夠。360 公司不僅涉足大模型領(lǐng)域，同時也是安全領(lǐng)域的領(lǐng)軍企業(yè)，因此我們在大模型安全方面投入了相當(dāng)?shù)木?。今天，我希望能夠分享我們在這一領(lǐng)域的一些工作成果。

大模型安全挑戰(zhàn)

當(dāng)我們談?wù)摯竽Ｐ蜁r，我們往往關(guān)注的是模型本身，比如 ChatGPT、DeepSeek、360 智腦、文心一言、智譜 GLM、通義千問等不同的模型。但實際上，模型在提供服務(wù)時，背后是由一系列服務(wù)框架支持的，包括前端服務(wù)端使用的 cache、prompt 模板管理框架、底層應(yīng)用市場等。在模型訓(xùn)練階段，還會用到 Pytorch、Tensorflow 等基礎(chǔ)服務(wù)框架。因此，大模型的安全不僅僅涉及模型本身或訓(xùn)練過程中的安全問題，還包括基礎(chǔ)服務(wù)框架和模型應(yīng)用過程中的潛在風(fēng)險。

每個環(huán)節(jié)面臨的安全風(fēng)險都有所不同。在訓(xùn)練環(huán)節(jié)，我們需要關(guān)注數(shù)據(jù)資產(chǎn)的安全，比如是否存在數(shù)據(jù)泄露、原始數(shù)據(jù)是否被投毒或污染，以及是否存在隱私泄露的問題。在模型文件資產(chǎn)方面，我們還需要考慮模型是否會被竊取，以及是否存在模型投毒、逆向和對抗等問題。在最終的服務(wù)環(huán)節(jié)，用戶信息資產(chǎn)的安全也至關(guān)重要，比如是否存在身份盜竊、隱私泄露、賬號泄露等問題，以及數(shù)據(jù)是否被濫用。此外，我們還需要關(guān)注模型輸出內(nèi)容的合規(guī)性，以及是否被用于違規(guī)或違法的場景。

在 Huntr 平臺上，我們對大模型相關(guān)的軟件生態(tài)中的漏洞進行了統(tǒng)計分析。從 2023 年底到 2024 年底，我們收集了大量數(shù)據(jù)，發(fā)現(xiàn)其中與大模型生態(tài)鏈相關(guān)的漏洞超過 400 個，這些漏洞分布在 50 多個不同的倉庫中。特別是 2024 年第二季度，漏洞數(shù)量激增至 225 個，顯示出明顯的上升趨勢。這些漏洞類型多樣，涉及的風(fēng)險包括傳統(tǒng)的目錄穿越、不合理的權(quán)限控制以及跨站腳本攻擊等。對于大模型本身，也存在模型服務(wù)攻擊，包括能夠調(diào)用后端 API 和執(zhí)行后端代碼的漏洞。

一個典型的案例是 ShadowRay 的漏洞，這個漏洞影響了 OpenAI 等公司使用的框架。如果使用的版本存在漏洞，攻擊者可以遠程控制公司的計算設(shè)備，泄露大量敏感信息，甚至公司的計算資源可能被用于其他惡意活動。據(jù)統(tǒng)計，受到感染的機器和計算能力的總價值接近 10 億美元。

另一個例子是 Ollama 的漏洞，我自己也會在個人電腦上使用 Ollama 來玩一些開源模型，并在端側(cè)驗證效果。Ollama 在特定版本中存在漏洞，這些漏洞包括任意文件寫入和遠程代碼執(zhí)行。我們對 Ollama 的服務(wù)進行了網(wǎng)絡(luò)資產(chǎn)探測，發(fā)現(xiàn)有幾千個主機的服務(wù)暴露在公網(wǎng)且存在相關(guān)漏洞。這種服務(wù)的暴露意味著用戶面臨模型文件被遠程替換、系統(tǒng)相關(guān)設(shè)置被篡改的風(fēng)險，導(dǎo)致用戶在處理敏感信息或文檔時出現(xiàn)非預(yù)期結(jié)果或者數(shù)據(jù)泄漏。

不同的業(yè)務(wù)方面臨著各自獨特的問題和挑戰(zhàn)。對于采購方來說，他們最關(guān)心的問題是他們所購買的智能服務(wù)是否安全。在很多情況下，他們可能沒有進行充分的評估，也缺乏必要的安全評估手段。他們對安全漏洞可能帶來的影響范圍并不清晰，同時，合規(guī)性問題也是他們擔(dān)憂的一個方面。安全部門同樣面臨挑戰(zhàn)。他們需要檢測大模型系統(tǒng)的安全性，但對新型漏洞的認知不足，檢測技術(shù)也不完善。

隨著大模型新框架和開源工具的出現(xiàn)，安全防護的壓力越來越大。此外，新發(fā)現(xiàn)的漏洞可能需要時間來處理，這導(dǎo)致了響應(yīng)速度的滯后。開發(fā)者在使用基礎(chǔ)組件時也面臨安全問題。他們可能會從網(wǎng)上獲取模型或使用開源框架，如向量數(shù)據(jù)庫、Langchain 等。但這些組件的安全性是否經(jīng)過了充分的測試？上線后對內(nèi)部業(yè)務(wù)可能產(chǎn)生的影響是否得到了評估？在很多情況下，這些問題的答案并不明確。此外，由于涉及的組件眾多，修復(fù)成本也相對較高。

依據(jù) TC260 國家標(biāo)準(zhǔn)，生成式人工智能服務(wù)安全的基本要求大致可以分為兩大類：首先是內(nèi)容安全。這涉及到人工智能服務(wù)是否違背了社會價值觀，是否包含歧視性內(nèi)容，是否存在商業(yè)違規(guī)或信息泄露等問題。在內(nèi)容安全方面，一個重要的考慮是模型輸出的內(nèi)容是否可能帶來負面影響。

例如，如果模型在智能客服或問答系統(tǒng)中提供了錯誤或不可靠的信息，可能會直接導(dǎo)致業(yè)務(wù)損失或產(chǎn)品可信度下降。其次是內(nèi)容結(jié)果的可信度。這關(guān)系到模型輸出結(jié)果的準(zhǔn)確性和內(nèi)容的可靠性。在關(guān)鍵業(yè)務(wù)場景中，如金融或醫(yī)療領(lǐng)域，模型的輸出必須嚴格遵守行業(yè)規(guī)范和法律法規(guī)，以確保其建議或信息的合規(guī)性。

在第一類問題中，價值觀錯誤是一個常見問題。許多模型在訓(xùn)練時可能基于開源數(shù)據(jù)或開源模型基座，而這些開源資源可能沒有經(jīng)過充分的數(shù)據(jù)過濾或安全性對齊，導(dǎo)致模型可能存在歧視、偏見或低俗違禁內(nèi)容的風(fēng)險。除了通用的價值觀和違規(guī)問題，還有與特定行業(yè)業(yè)務(wù)場景緊密相關(guān)的安全性問題。例如，在金融領(lǐng)域，模型的輸出必須合規(guī)，不能誘導(dǎo)用戶使用或推薦某些金融產(chǎn)品。

這些規(guī)則在傳統(tǒng)的大模型訓(xùn)練語料中可能無法學(xué)到，因此在業(yè)務(wù)場景中需要進行特別的安全對齊。此外還有提示注入攻擊。攻擊者可能會通過巧妙構(gòu)造的提示語，誘導(dǎo)模型輸出違規(guī)內(nèi)容。例如，直接詢問如何制造炸彈的問題，大多數(shù)模型不會回答，但如果將問題偽裝成教育場景，模型可能會輸出相關(guān)信息，從而繞過安全檢測。

在第二類問題中，我們不得不提及所謂的“幻覺”問題，這通常分為兩類：事實性幻覺和忠實性幻覺。事實性幻覺涉及到模型輸出與現(xiàn)實不符的情況。例如，模型可能會錯誤地將《戰(zhàn)狼 2》的上映年份從 2017 年說成 2014 年，或者錯誤地描述一個運動員在巴黎奧運會的成績。

這些錯誤可能是由于模型沒有及時更新知識庫，或者未能準(zhǔn)確遵循知識庫內(nèi)容導(dǎo)致的，從而產(chǎn)生了誤導(dǎo)性的信息。忠實性幻覺則涉及到模型對輸入信息的誤解或錯誤總結(jié)。這可能表現(xiàn)為模型未能準(zhǔn)確遵循指令，或者在生成摘要時引入了原文中不存在的信息，或者輸出內(nèi)容存在邏輯沖突。

這里討論的安全問題主要集中在大模型在落地應(yīng)用過程中，特別是在推理或提供服務(wù)時的風(fēng)險。我們討論的風(fēng)險包括系統(tǒng)安全風(fēng)險，如模型環(huán)境中的漏洞；生成惡意內(nèi)容的風(fēng)險，這主要涉及到價值觀的對齊；生成錯誤信息的風(fēng)險，這關(guān)乎內(nèi)容的可信度；以及 Agent 流程失控的風(fēng)險，尤其是在企業(yè)事業(yè)單位使用大模型進行內(nèi)部業(yè)務(wù)系統(tǒng)調(diào)度時，如果模型具備訪問或修改后臺數(shù)據(jù)的權(quán)限，那么流程可能會存在失控風(fēng)險。

大模型軟件生態(tài)安全

我們關(guān)注的是大模型服務(wù)的整個生命周期，從上游到下游，涉及眾多環(huán)節(jié)。我們可以將這些環(huán)節(jié)分為兩大層次：應(yīng)用服務(wù)組件和訓(xùn)練推理組件。服務(wù)組件層次涉及到我們對外提供服務(wù)時所依賴的一系列組件，如向量數(shù)據(jù)庫、緩存系統(tǒng)、代碼執(zhí)行器等，訓(xùn)練推理組件涵蓋模型訓(xùn)練和推理所依賴的平臺和框架。它被進一步細分為四個子層次。

首先是用戶層，這一層主要負責(zé)與用戶的交互，包括前端 UI、提示工程以及緩存系統(tǒng)。其次是模型層，它包含了代碼解釋器、大模型本身以及依賴的向量庫等關(guān)鍵組件。第三層是推理層，這一層主要涉及推理服務(wù)，如 Ollama，以及可能存在的隱私泄露風(fēng)險和模型市場中潛在的惡意模型。最后是訓(xùn)練層，它涉及到底層的數(shù)據(jù)管理、OPS 平臺、計算框架等基礎(chǔ)設(shè)施。

在這些層次中，每個層級或組件都可能存在潛在風(fēng)險，如跨站腳本攻擊、代碼執(zhí)行漏洞等。為了應(yīng)對這些風(fēng)險，我們需要對大模型的上下游組件進行梳理，并建立一套系統(tǒng)的框架，以便分析和分層級或分環(huán)節(jié)地識別所有潛在風(fēng)險。

傳統(tǒng)安全漏洞

傳統(tǒng)安全漏洞在大模型的應(yīng)用中依然存在。一個例子是提示工程中的模板注入，這與 SQL 注入的概念相似。為了簡化業(yè)務(wù)模板的配置，我們通常會使用提示工程管理框架，該框架允許我們將模板集中管理，并將用戶輸入作為變量實時替換。然而，如果模板框架本身存在安全漏洞，攻擊者可能會注入惡意代碼。當(dāng)用戶調(diào)用這些模板時，惡意代碼可能會被執(zhí)行，從而改變輸出結(jié)果，使其與用戶的實際指令不符。

另一個例子是向量數(shù)據(jù)庫的拒絕服務(wù)（DoS）攻擊。在智能客服和智能問答等應(yīng)用場景中，大模型依賴于向量數(shù)據(jù)庫來處理和檢索信息。如果攻擊者利用向量數(shù)據(jù)庫的漏洞，如整型溢出或 GraphQL 注入錯誤，來使數(shù)據(jù)庫無法正常工作，那么整個智能客服系統(tǒng)可能會因此而癱瘓，無法提供服務(wù)。

新型安全風(fēng)險

大模型能夠?qū)⒆匀徽Z言轉(zhuǎn)化為可執(zhí)行的腳本或 SQL 代碼，這一能力在處理計算任務(wù)時可能會出現(xiàn)錯誤，如簡單的加減乘除運算。為了解決這一問題，一些實現(xiàn)手段采用了 PoT（Program of Thought）技術(shù)，將大模型的指令轉(zhuǎn)換為簡單的數(shù)學(xué)公式或代碼，然后由后端執(zhí)行器執(zhí)行，這無疑帶來了新的安全風(fēng)險。以 AutoGen 為例，存在潛在的間接提示注入漏洞。模型可能會通過 URL 訪問并獲取內(nèi)容，然后基于這些內(nèi)容進行文本抽取和總結(jié)。攻擊者可以在公開網(wǎng)址上注入誘導(dǎo)模型執(zhí)行腳本指令的代碼，繞過系統(tǒng)設(shè)置的指令要求。常見的防護手段可能僅對用戶輸入進行風(fēng)險判別，但如果攻擊指令隱藏在 URL 返回的信息中，這種防護手段就可能失效。

另一個典型案例是 Text2SQL，它可以通過自然語言生成 SQL 指令來獲取數(shù)據(jù)庫信息，甚至可能通過漏洞修改數(shù)據(jù)庫內(nèi)容，導(dǎo)致后續(xù)訪問時輸出被篡改的數(shù)據(jù)。

大模型的另一類信息安全風(fēng)險是記憶投毒。為了降低計算成本和時延，系統(tǒng)可能會緩存用戶問題和答案。如果緩存服務(wù)使用向量數(shù)據(jù)庫或關(guān)鍵詞召回等手段，攻擊者可能會在用戶問題中注入惡意指令，當(dāng)新用戶提出相似問題時，緩存的惡意內(nèi)容可能被觸發(fā)，導(dǎo)致輸出惡意指令的結(jié)果。

此外，還有持久性的提示劫持風(fēng)險，如 Ollama 漏洞所示。如果攻擊者利用文件寫入漏洞修改了系統(tǒng)提示詞，那么無論用戶提出什么問題，模型都可能被誘導(dǎo)輸出惡意或有導(dǎo)向的內(nèi)容。

大模型軟件生態(tài)安全解決方案

大模型軟件生態(tài)安全涉及眾多環(huán)節(jié)的復(fù)雜系統(tǒng)。為了確保這一生態(tài)系統(tǒng)的安全性，我們采取了包括 RAG 和 Agent 方案在內(nèi)的多種策略來增強底層防護能力。我們的檢測技術(shù)基礎(chǔ)廣泛，涵蓋了模糊測試、控制流分析和數(shù)據(jù)流分析等關(guān)鍵領(lǐng)域。這些技術(shù)從多個角度進行評估，包括數(shù)據(jù)安全、接口安全、配置安全以及業(yè)務(wù)安全。我們關(guān)注的風(fēng)險類型不僅包括傳統(tǒng)漏洞，也包括針對大模型的新型威脅。

檢測對象全面，包括文件數(shù)據(jù)、模型、數(shù)據(jù)集、配置和代碼，同時也涉及服務(wù)類型，尤其是常見的服務(wù)類型如 Agent 或 RAG 流程。對于這些服務(wù)，我們會對其上下游鏈路進行詳細的檢測和潛在攻擊手段的探測，確保整個流程的安全性。特別是那些常見的開源代碼庫。我們會對這些庫中的關(guān)鍵類別進行重點檢測，以防止?jié)撛诘陌踩L(fēng)險。

在行業(yè)場景中，安全性的考量并不局限于特定行業(yè)，而是與業(yè)務(wù)場景緊密相關(guān)，這包括業(yè)務(wù)場景所使用的工作流和組件依賴。這種全面的方法確保了我們能夠為各種業(yè)務(wù)場景提供定制化的安全解決方案，從而保護大模型軟件生態(tài)免受各種安全威脅。通過這種多層次、多角度的安全防護策略，我們能夠為大模型的穩(wěn)定運行和數(shù)據(jù)安全提供堅實的保障。

大模型內(nèi)容安全

大模型內(nèi)容安全防護方案

在大模型內(nèi)容安全方面，我們面臨著一系列挑戰(zhàn)，這些挑戰(zhàn)主要分布在四個關(guān)鍵環(huán)節(jié)。

在系統(tǒng)輸入層面，早期的內(nèi)容安全主要依賴關(guān)鍵詞匹配和基于規(guī)則的方法，但這種方法在長文本場景下容易出現(xiàn)誤判。去年大模型剛上線時，由于缺乏細致的內(nèi)容安全防控方案，很多用戶的輸入被錯誤拒絕。隨著時間的推移，我們引入了基于大模型的風(fēng)險識別策略，顯著降低了拒識率。

工具增強，我們采用了如 RAG 的方案，以權(quán)威內(nèi)容為參考，提高輸出結(jié)果的可靠性和價值觀的準(zhǔn)確性。

模型訓(xùn)練層面，我們專注于基礎(chǔ)模型的原生安全增強，通過繼續(xù)預(yù)訓(xùn)練，使用安全數(shù)據(jù)進行微調(diào)，以及強化學(xué)習(xí)，使模型更好地與人類價值觀對齊。

系統(tǒng)輸出層面，我們對輸出結(jié)果進行新一輪的改寫、探測和攔截，以確保內(nèi)容的安全性。

通過一張簡化的圖，我們可以展示這個流程：最內(nèi)層是模型的原生安全增強，中間層是知識增強，即模型在請求時參考更優(yōu)質(zhì)的語料庫，最外層是內(nèi)容的安全護欄，包括輸入和輸出層面的防護。

在 LLama 3 的驗證中，我們觀察到不同加固手段的效果變化。使用原始 LLama 3 8B 模型的得分大約是 78 分。經(jīng)過安全數(shù)據(jù)集的預(yù)訓(xùn)練后，得分提升至 81 分。進一步的安全微調(diào)，使用更多安全語料的 QA 對，得分提升至 87 分。通過強化學(xué)習(xí)，得分提升至 93 分。使用全網(wǎng)優(yōu)質(zhì)語料庫作為參照，得分接近 96 分，但要達到 100% 的安全仍然具有挑戰(zhàn)。

在優(yōu)化和檢測手段上，我們采取了多種策略。首先是安全檢測的大模型，這需要涵蓋 TC260 國家標(biāo)準(zhǔn)中的 5 大類 31 小類，我們內(nèi)部有十幾個大類和超過 100 個小類，需要對這些細分類型進行分類標(biāo)記，并根據(jù)不同業(yè)務(wù)場景和風(fēng)險類型采取相應(yīng)的處置手段。

訓(xùn)練過程中，數(shù)據(jù)是關(guān)鍵，包括用戶日志、開源數(shù)據(jù)集、合作方數(shù)據(jù)集，以及內(nèi)部紅隊攻擊手段生成的惡意主題和語料，以提高風(fēng)險數(shù)據(jù)的覆蓋度。此外，我們還進行數(shù)據(jù)增強，利用大模型生成更多惡意問題，通過評測方式識別處理不當(dāng)?shù)那闆r，持續(xù)迭代優(yōu)化模型的安全性。

安全回復(fù)大模型的訓(xùn)練

在構(gòu)建安全回復(fù)的大模型時，訓(xùn)練和微調(diào)的方法與常規(guī)手段相似，但關(guān)鍵在于擁有優(yōu)質(zhì)的語料庫。國內(nèi)有官方媒體和權(quán)威網(wǎng)站提供的豐富優(yōu)質(zhì)語料，以及一些開源語料庫，這些都是訓(xùn)練語料的寶貴資源。在安全的對齊階段，我們會進行更細致的工作，重點在于標(biāo)注和數(shù)據(jù)增強，包括紅藍對抗攻擊的模擬，以增強模型的安全性。

我們內(nèi)部研發(fā)了一個的攻擊大模型，它主要用于輔助大模型的安全能力研發(fā)。這個模型通過使用惡意語料和黑語料進行增量訓(xùn)練、SFT 微調(diào)、強化訓(xùn)練對齊，能夠生成潛在的風(fēng)險問題。這種方法允許我們用惡意語料來測試大模型的輸出，并使用評測大模型來挑選出處理不當(dāng)?shù)娘L(fēng)險問題，然后將這些反饋用于下一輪的迭代，形成一個快速循環(huán)迭代的過程。

通過這種攻擊大模型的方式，我們可以顯著提高安全語料構(gòu)建的效率。如果依靠安全運營人員手動標(biāo)注，每天可能只能處理幾百條語料，而使用攻擊大模型進行篩選，每天可以處理上萬條，效率提升了上百倍。這種方法不僅加快了安全語料的構(gòu)建速度，也提高了模型訓(xùn)練的質(zhì)量和效率，使得大模型在面對潛在的安全威脅時能夠更加穩(wěn)健和可靠。

大模型的檢、防、攻、測體系

大模型的檢、防、攻、測體系構(gòu)成了一個完整的服務(wù)流程，這一流程通過四個關(guān)鍵組成部分來實現(xiàn)：安全檢測大模型、安全回復(fù)大模型、攻擊大模型和安全評測大模型。

安全檢測大模型負責(zé)識別和評估輸入內(nèi)容的安全性，確保沒有潛在的風(fēng)險。安全回復(fù)大模型則針對識別出的風(fēng)險問題，提供安全、合理的回答方案，以避免直接拒絕用戶輸入而影響用戶體驗。

攻擊大模型和安全評測大模型則更多地用于大模型的迭代和優(yōu)化過程。攻擊大模型通過模擬惡意攻擊，幫助識別和強化模型的弱點。安全評測大模型則對模型的安全性進行評估，確保其在各種情況下都能提供安全可靠的輸出。

對于業(yè)務(wù)方來說，他們主要關(guān)心的是輸入和輸出的安全性。因此，他們可能只需要使用安全檢測和安全回復(fù)大模型。這樣，他們可以確保業(yè)務(wù)流程中的輸入和輸出內(nèi)容是安全的，并且在遇到風(fēng)險問題時，能夠得到恰當(dāng)?shù)幕卮?，從而維護用戶體驗。

對于那些致力于大模型迭代的企業(yè)來說，他們還需要利用攻擊大模型和安全評測大模型來加速安全數(shù)據(jù)的標(biāo)注和策略迭代，以提升運營效率。這意味著他們需要一個更為全面和動態(tài)的安全體系，以適應(yīng)不斷變化的安全需求。

在私有化部署的情況下，企業(yè)可能會獲得靜態(tài)的安全檢測和安全回復(fù)大模型。為了進一步滿足自身業(yè)務(wù)的需求，他們需要一個安全運營系統(tǒng)，這個系統(tǒng)能夠管理詞表、分析用戶日志，并根據(jù)不同的風(fēng)控類型和等級進行相應(yīng)的處理和配置。這樣的系統(tǒng)能夠幫助企業(yè)在保持模型安全性的同時，也能夠根據(jù)業(yè)務(wù)數(shù)據(jù)進行迭代和優(yōu)化，確保大模型在實際應(yīng)用中的有效性和安全性。

大模型幻覺檢測

大模型幻覺問題主要分為兩類：事實性幻覺和忠實性幻覺。事實性幻覺是指那些我們可以驗證的事實不一致，例如電影《戰(zhàn)狼 2》的上映年份或運動員的成績，這些信息可以通過官方媒體的報道來確認。而捏造性幻覺則涉及那些無法查證的信息，我們難以判斷其真實性。

為了判斷幻覺的類型，我們首先需要確定用戶的輸入是否遵循了指令，以及這些指令是否與上下文信息一致。接著，我們要評估模型的回復(fù)是否正確，這包括代碼的正確性、計算的準(zhǔn)確性以及推理效果的合理性。代碼的正確性可以通過編譯器和自動化測試來驗證，計算的準(zhǔn)確性可以通過計算工具來檢驗，而推理效果則可能需要人工評估或大模型打分。

大模型幻覺解決方案

在解決大模型幻覺問題上，我們采取了一套完整的對齊方案。這包括在查詢處理階段對輸入進行處理，利用工具增強，如代碼解釋器、搜索引擎增強，以及第三方數(shù)據(jù)接口來獲取權(quán)威數(shù)據(jù)，避免幻覺的產(chǎn)生。RAG 增強專注于對非結(jié)構(gòu)化知識的增強，同時在幻覺檢測和訓(xùn)練環(huán)節(jié)也涉及到算法細節(jié)。在推理環(huán)節(jié)，我們采用多種手段，如讓模型多次輸出并進行投票校驗，或使用多個模型進行校驗。

我們內(nèi)部開發(fā)的基于幻覺檢測的 Agent，主要利用 RAG 手段，結(jié)合搜索引擎，使用全網(wǎng)信息進行校驗和修改，專注于事實性幻覺。這個 Agent 的原子能力包括聲明抽取、信息驗證、證據(jù)判定和幻覺修正。如果發(fā)現(xiàn)與知識庫信息沖突，幻覺修正模塊會根據(jù)參考文檔對輸出進行修正，并將修正結(jié)果和驗證結(jié)果積累為語料，用于后續(xù)模型訓(xùn)練和數(shù)據(jù)標(biāo)注。

我們的架構(gòu)在 query 處理階段，會對原始 query 進行變換和處理，甚至進行多步搜索。在 rerank 階段，我們需要對拆分后的 query 進行細致的數(shù)據(jù)標(biāo)注和對齊，以優(yōu)化排序算法。

在 SuperCLUE-RAG 的評測中，關(guān)注幾個關(guān)鍵維度：拒答能力，即模型在沒有明確答案時是否能夠正確表示“不知道”；檢測糾錯能力，即模型是否能夠針對用戶輸入進行必要的修正；信息整合能力，特別是在多文檔場景下整合多個來源的信息；以及答案的及時性，即模型是否能夠訪問到最新的知識，避免時效性錯誤。

在真實的業(yè)務(wù)場景中，尤其是在搜索場景下，我們會遇到一些典型問題，比如醫(yī)療類問題的處理。在這些情況下，原始的醫(yī)療社區(qū)討論可能包含錯誤信息，模型在第一輪總結(jié)時可能會繼承這些錯誤。

為了提高答案的準(zhǔn)確性，我們采取了一種更為細致的模型自我反思和自我修正的處理方法：首先，從文本中抽取出多個事實性的聲明；然后，對這些聲明進行新一輪的檢索；最后，基于檢索結(jié)果重新修正答案。這種方法能夠有效地糾正中間的錯誤。

通過線上驗證，我們發(fā)現(xiàn)這種細致校驗和修改的方法顯著提升了用戶體驗，大約增加了 32%。與簡單地總結(jié)一段文本相比，我們的方法能夠識別并修正大約 20% 的錯誤信息。這樣的改進不僅提高了信息的準(zhǔn)確性，也增強了用戶對模型輸出結(jié)果的信任，從而提升了整體的服務(wù)質(zhì)量。

總結(jié)與展望

在本次分享中，我們主要關(guān)注了三類大模型應(yīng)用中的風(fēng)險問題：軟件生態(tài)安全、內(nèi)容安全以及幻覺問題。

軟件生態(tài)安全分為四個層次：用戶層、模型層、推理層和訓(xùn)練層。這些層次面臨的風(fēng)險既包括傳統(tǒng)風(fēng)險，也包括針對大模型的新型風(fēng)險，如提示注入、NL2SQL、記憶投毒和提示劫持等。為了應(yīng)對這些風(fēng)險，我們內(nèi)部開發(fā)了一套系統(tǒng)安全掃描解決方案，適用于 SaaS 化掃描和私有化部署，能夠針對 RAG 或 Agent 中的鏈路進行掃描。

開發(fā)者需要關(guān)注代碼實現(xiàn)的安全性，組件開發(fā)者應(yīng)避免組件誤用并定期更新以防止漏洞擴散。業(yè)務(wù)方應(yīng)意識到大模型系統(tǒng)安全的風(fēng)險，而安全研究人員則需要關(guān)注模型、代碼、硬件、業(yè)務(wù)和具身智能等不同層級的安全問題。

內(nèi)容安全防護體系包括四類模型和一個安全運營系統(tǒng)。這四類模型分別是風(fēng)險檢測模型、安全回復(fù)模型、攻擊模型和安全評測模型。風(fēng)險檢測模型負責(zé)對請求進行分級和分類，安全回復(fù)模型針對有風(fēng)險內(nèi)容提供安全代答，攻擊模型加速模型安全能力迭代，安全評測模型則進行內(nèi)容巡查和開源模型對比。

原生安全增強需要在語料、訓(xùn)練、微調(diào)、強化等層級進行。內(nèi)容安全護欄方案依賴于風(fēng)險檢測和安全回復(fù)能力，對輸入輸出進行修改。業(yè)務(wù)方除了關(guān)注模型業(yè)務(wù)能力評測外，還應(yīng)關(guān)注安全評測。對于私有化模型，需要在內(nèi)部業(yè)務(wù)場景中建立相應(yīng)的安全解決方案。大模型解決方案提供方需要建立全流程的檢防攻測體系，并構(gòu)建特定安全語料。

在幻覺問題方面，我們區(qū)分了事實性幻覺和忠實性幻覺，并介紹了檢測幻覺的原子化能力，如聲明抽取和修正。解決方案重點是引入外部知識庫，優(yōu)化 query 理解和 rerank 技術(shù)。大模型提供方和業(yè)務(wù)方可以直接調(diào)用第三方搜索引擎，但需要注意語義完整性。

對于領(lǐng)域知識，需要自建領(lǐng)域知識庫。大模型提供方應(yīng)避免幻覺，特別是指令遵循和推理能力，以降低忠實性幻覺。許多大模型提供方已在平臺和 API 接口上提供 RAG 構(gòu)建方案，業(yè)務(wù)部門可以直接使用這些方案或補充自己的知識庫。

隨著大模型的廣泛應(yīng)用，它將成為基礎(chǔ)設(shè)施，用戶的輸入和輸出將越來越依賴于大模型。大模型也將成為中樞，調(diào)度其他第三方工具和內(nèi)部系統(tǒng)平臺接口。因此，安全是大模型應(yīng)用的底線。構(gòu)建安全可信的大模型應(yīng)用不僅是模型提供方的責(zé)任，還需要業(yè)務(wù)方、組件開發(fā)方和安全研究人員的共同努力。我們期待大模型在未來能夠越來越安全，避免業(yè)務(wù)場景中的安全風(fēng)險，同時享受業(yè)務(wù)收益并規(guī)避潛在風(fēng)險。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“張向征：大模型安全研究與實踐”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！