哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“《提示學(xué)習(xí)Prompting篇》電子書下載”，并學(xué)會本篇文章中所講的全部知識點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

《提示學(xué)習(xí)Prompting篇》電子書下載：

這篇文章詳細(xì)介紹了提示學(xué)習(xí)（Prompting）及其相關(guān)方法，包括前綴微調(diào)（Prefix-tuning）、指示微調(diào)（Prompt-tuning）、P-tuning及其改進(jìn)版本P-tuning v2。以下是文章的主要內(nèi)容：

一、為什么需要提示學(xué)習(xí)（Prompting）？
提示學(xué)習(xí)（Prompting）在面對特定下游任務(wù)時提供了一種折衷方案。傳統(tǒng)的Full Fine-tuning方法需要對預(yù)訓(xùn)練模型的所有參數(shù)進(jìn)行微調(diào)，效率低下；而固定預(yù)訓(xùn)練模型的某些層并微調(diào)接近下游任務(wù)的部分參數(shù)，效果也不理想。提示學(xué)習(xí)通過提供上下文和任務(wù)相關(guān)信息，幫助模型更好地理解任務(wù)要求，生成正確的輸出，從而提高模型的性能并降低計算成本。

二、什么是提示學(xué)習(xí)（Prompting）？
提示學(xué)習(xí)通過提供上下文和任務(wù)相關(guān)信息來幫助模型理解任務(wù)要求。例如，在問答任務(wù)中，prompt可能包含問題或話題的描述；在情感分析任務(wù)中，可以在句子前面加入前綴“該句子的情感是”來引導(dǎo)模型進(jìn)行情感分類。這種方法旨在通過最小化微調(diào)參數(shù)的數(shù)量和計算復(fù)雜度，提高預(yù)訓(xùn)練模型在新任務(wù)上的性能。

三、提示學(xué)習(xí)（Prompting）的優(yōu)點(diǎn)
提示學(xué)習(xí)通過最小化微調(diào)參數(shù)的數(shù)量和計算復(fù)雜度，提高預(yù)訓(xùn)練模型在新任務(wù)上的性能，緩解大型預(yù)訓(xùn)練模型的訓(xùn)練成本。這種方法可以在計算資源受限的情況下，利用預(yù)訓(xùn)練模型的知識迅速適應(yīng)新任務(wù)，實(shí)現(xiàn)高效的遷移學(xué)習(xí)。

四、提示學(xué)習(xí)的方法
4.1 前綴微調(diào)（Prefix-tuning）
4.1.1 為什么需要前綴微調(diào)？
前綴微調(diào)旨在解決人工設(shè)計離散Prompts的缺點(diǎn)，如對模型性能的敏感性高、自動化搜索成本高以及離散化token搜索結(jié)果可能不是最優(yōu)的。

4.1.2 前綴微調(diào)思路
構(gòu)建Prefix：在輸入token之前構(gòu)造一段任務(wù)相關(guān)的virtual tokens。
訓(xùn)練時只更新Prefix部分的參數(shù)，Transformer中的其他部分參數(shù)固定。
在Prefix層前面加MLP結(jié)構(gòu)，防止直接更新Prefix參數(shù)導(dǎo)致訓(xùn)練不穩(wěn)定。

4.1.3 前綴微調(diào)的優(yōu)點(diǎn)
可以學(xué)習(xí)的“隱式”Prompts。
可以在一個批次中處理多個用戶/任務(wù)的樣本。
只更新Prefix部分的參數(shù)，而不是全量微調(diào)。

4.1.4 前綴微調(diào)的缺點(diǎn)
占用序列長度，有額外計算開銷。
在每層都加了prompt的參數(shù)，改動較大。

4.2 指示微調(diào)（Prompt-tuning）
4.2.1 為什么需要指示微調(diào)？
指示微調(diào)旨在解決全量微調(diào)的高開銷、離散Prompts的高成本以及前綴微調(diào)的計算開銷和參數(shù)改動問題。

4.2.2 指示微調(diào)思路
將prompt擴(kuò)展到連續(xù)空間，僅在輸入層添加prompt連續(xù)向量。
凍結(jié)模型原始權(quán)重，只訓(xùn)練prompts參數(shù)。
使用LSTM建模prompt向量間關(guān)聯(lián)性。

4.2.3 指示微調(diào)的優(yōu)點(diǎn)
只在輸入層加入prompt tokens，不需要MLP進(jìn)行調(diào)整。
隨著預(yù)訓(xùn)練模型參數(shù)量的增加，逼近全參數(shù)微調(diào)的結(jié)果。
提出了prompt ensembling，減少模型集成成本。

4.2.4 指示微調(diào)的缺點(diǎn)
訓(xùn)練難度加大，可能不省時間。
多個prompt token之間相互獨(dú)立，可能影響效果。
在NLU上表現(xiàn)不佳，不能處理困難的序列標(biāo)注任務(wù)。

4.2.5 指示微調(diào)與Prefix-tuning的區(qū)別
Prefix-tuning僅針對NLG任務(wù)有效，指示微調(diào)適用于所有類型的語言模型。
Prefix-tuning限定在輸入前面添加，指示微調(diào)可以在任意位置添加。
Prefix-tuning每一層都添加prompt，指示微調(diào)可以只在輸入層添加。

4.2.6 指示微調(diào)與fine-tuning的區(qū)別
Fine-tuning改變預(yù)訓(xùn)練階段模型參數(shù)，可能導(dǎo)致災(zāi)難性遺忘。
指示微調(diào)不改變預(yù)訓(xùn)練階段模型參數(shù)，而是通過微調(diào)尋找更好的連續(xù)prompt。

4.3 P-tuning
4.3.1 為什么需要P-tuning？
P-tuning旨在解決大模型的Prompt構(gòu)造方式嚴(yán)重影響下游任務(wù)效果的問題，如GPT系列在NLU任務(wù)上效果不佳。

4.3.2 P-tuning思路
設(shè)計可學(xué)習(xí)的Embedding層。
使用prompt encoder（雙向LSTM+兩層MLP）處理Prompt Embedding。

4.3.3 P-tuning的優(yōu)點(diǎn)
引入prompt encoder來建模偽token的相互依賴，并提供更好的初始化。

4.3.4 P-tuning的缺點(diǎn)
復(fù)雜性增加。
偽token編碼時是連續(xù)的，但與輸入結(jié)合時可能是不連續(xù)的。

4.4 P-tuning v2
4.4.1 為什么需要P-tuning v2？
P-tuning v2旨在讓Prompt Tuning在不同參數(shù)規(guī)模的預(yù)訓(xùn)練模型和不同下游任務(wù)上達(dá)到匹敵Fine-tuning的效果。

4.4.2 P-tuning v2思路
Deep Prompt Encoding：在輸入前面的每層加入可微調(diào)的Prompts tokens。
移除重參數(shù)化的編碼器。
針對不同任務(wù)采用不同的提示長度。
引入多任務(wù)學(xué)習(xí)。
放棄verbalizer，回歸到傳統(tǒng)的CLS和token label分類范式。

4.4.3 P-tuning v2的優(yōu)點(diǎn)
在輸入前面的每層加入可微調(diào)的Prompts tokens，增加可學(xué)習(xí)參數(shù)。
解決了Prompt Tuning在小模型上無法有效提升的問題。
將Prompt Tuning拓展至NER等序列標(biāo)注任務(wù)。

4.4.4 P-tuning v2的缺點(diǎn)
放棄verbalizer，回歸到傳統(tǒng)的CLS和token label分類范式，弱化了prompt的味道。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“《提示學(xué)習(xí)Prompting篇》電子書下載”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！