哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“大模型LLM面試題大全超詳細(xì)解析16-20題”，并學(xué)會(huì)本篇文章中所講的全部知識(shí)點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

大模型LLM面試題大全超詳細(xì)解析16-20題：

《大模型LLM面試題大全超詳細(xì)解析》系列教程旨在幫助求職者系統(tǒng)掌握大模型相關(guān)面試知識(shí)。教程涵蓋模型原理、訓(xùn)練技巧、應(yīng)用場景及優(yōu)化策略等核心內(nèi)容，結(jié)合真實(shí)面試題，提供詳細(xì)解析與實(shí)戰(zhàn)技巧。無論你是初學(xué)者還是進(jìn)階者，都能從中獲得實(shí)用指導(dǎo)，輕松應(yīng)對(duì)大模型領(lǐng)域的面試挑戰(zhàn)，提升求職競爭力。

16、預(yù)訓(xùn)練（Pretraining）
答案：
該階段需要利用海量的訓(xùn)練數(shù)據(jù)，包括互聯(lián)網(wǎng)網(wǎng)頁、維基百科、書籍、GitHub、論文、問答網(wǎng)站等，構(gòu)建包含數(shù)千億甚至數(shù)萬億單詞的具有多樣性的內(nèi)容。利用由數(shù)千塊高性能GPU 和高速網(wǎng)絡(luò)組成超級(jí)計(jì)算機(jī)，花費(fèi)數(shù)十天完成深度神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練，構(gòu)建基礎(chǔ)語言模型（Base Model）。**基礎(chǔ)大模型構(gòu)建了長文本的建模能力，使得模型具有語言生成能力，根據(jù)輸入的提示詞（Prompt），模型可以生成文本補(bǔ)全句子。也有部分研究人員認(rèn)為，語言模型建模過程中也隱含的構(gòu)建了包括事實(shí)性知識(shí)

（Factual Knowledge）和常識(shí)知識(shí)（Commonsense）在內(nèi)的世界知識(shí)（World Knowledge）。**根據(jù)文獻(xiàn)[1] 介紹，GPT-3 完成一次訓(xùn)練的總計(jì)算量是3640PFlops，按照NVIDIA A100 80G 和平均利用率達(dá)到 50% 計(jì)算，需要花費(fèi)近一個(gè)月時(shí)間使用1000 塊GPU 完成。

由于GPT-3 訓(xùn)練采用了NVIDIA V100 32G，其實(shí)際計(jì)算成本遠(yuǎn)高于上述計(jì)算。文獻(xiàn)[2] 介紹了參數(shù)量同樣是1750 億的OPT 模型，該模型訓(xùn)練使用了992 塊NVIDIA A100 80G，整體訓(xùn)練時(shí)間將近2 個(gè)月。BLOOM[3] 模型的參數(shù)量也是1750 億，該模型訓(xùn)練一共花費(fèi)3.5 個(gè)月，使用包含384 塊NVIDIA A100 80G GPU 集群完成?？梢钥吹酱笠?guī)模語言模型的訓(xùn)練需要花費(fèi)大量的計(jì)算資源和時(shí)間。

包括LLaMA 系列、Falcon 系列、百川（Baichuan）系列等在模型都屬于此階段。由于訓(xùn)練過程需要消耗大量的計(jì)算資源，并很容易受到超參數(shù)影響，如何能夠提升分布式計(jì)算效率并使得模型訓(xùn)練穩(wěn)定收斂是本階段的重點(diǎn)研究內(nèi)容。

17、有監(jiān)督微調(diào)（Supervised Finetuning）
答案：

利用這些有監(jiān)督數(shù)據(jù)，使用與預(yù)訓(xùn)練階段相同的語言模型訓(xùn)練算法，在基礎(chǔ)語言模型基礎(chǔ)上再進(jìn)行訓(xùn)練，從而得到有監(jiān)督微調(diào)模型（SFT模型）。經(jīng)過訓(xùn)練的SFT 模型具備了初步的指令理解能力和上下文理解能力，能夠完成開放領(lǐng)域問題、閱讀理解、翻譯、生成代碼等能力，也具備了一定的對(duì)未知任務(wù)的泛化能力。由于有監(jiān)督微調(diào)階段的所需的訓(xùn)練語料數(shù)量較少，SFT 模型的訓(xùn)練過程并不需要消耗非常大量的計(jì)算。根據(jù)模型的大小和訓(xùn)練數(shù)據(jù)量，通常需要數(shù)十塊GPU，花費(fèi)數(shù)天時(shí)間完成訓(xùn)練。SFT 模型具備了初步的任務(wù)完成能力，可以開放給用戶使用，很多類ChatGPT的模型都屬于該類型，包括：Alpaca[4]、Vicuna[5]、MOSS、ChatGLM-6B 等。很多這類模型效果也非常好，甚至在一些評(píng)測中達(dá)到了ChatGPT 的 90% 的效果[4, 5]。當(dāng)前的一些研究表明有監(jiān)督微調(diào)階段數(shù)據(jù)選擇對(duì)SFT 模型效果有非常大的影響[6]，因此如何構(gòu)造少量并且高質(zhì)量的訓(xùn)練數(shù)據(jù)是本階段有監(jiān)督微調(diào)階段的研究重點(diǎn)

18、獎(jiǎng)勵(lì)建模（Reward Modeling）
答案：
該階段目標(biāo)是構(gòu)建一個(gè)文本質(zhì)量對(duì)比模型，對(duì)于同一個(gè)提示詞，SFT 模型給出的多個(gè)不同輸出結(jié)果的質(zhì)量進(jìn)行排序。獎(jiǎng)勵(lì)模型（RM 模型）可以通過二分類模型，對(duì)輸入的兩個(gè)結(jié)果之間的優(yōu)劣進(jìn)行判斷。RM 模型與基礎(chǔ)語言模型和SFT 模型不同，RM 模型本身并不能單獨(dú)提供給用戶使用。獎(jiǎng)勵(lì)模型的訓(xùn)練通常和SFT 模型一樣，使用數(shù)十塊GPU，通過幾天時(shí)間完成訓(xùn)練。由于RM 模型的準(zhǔn)確率對(duì)于強(qiáng)化學(xué)習(xí)階段的效果有著至關(guān)重要的影響，因此對(duì)于該模型的訓(xùn)練通常需要大規(guī)模的訓(xùn)練數(shù)據(jù)。AndrejKarpathy 在報(bào)告中指出，該部分需要百萬量級(jí)的對(duì)比數(shù)據(jù)標(biāo)注，而且其中很多標(biāo)注需要花費(fèi)非常長的時(shí)間才能完成。下圖2給出了InstructGPT 系統(tǒng)中獎(jiǎng)勵(lì)模型訓(xùn)練樣本標(biāo)注示例[7]?？梢钥吹剑纠形谋颈磉_(dá)都較為流暢，標(biāo)注其質(zhì)量排序需要制定非常詳細(xì)的規(guī)范，標(biāo)注人員也需要非常認(rèn)真的對(duì)標(biāo)規(guī)范內(nèi)容進(jìn)行標(biāo)注，需要消耗大量的人力，同時(shí)如何保持眾包標(biāo)注人員之間的一致性，也是獎(jiǎng)勵(lì)建模階段需要解決的難點(diǎn)問題之一。此外獎(jiǎng)勵(lì)模型的泛化能力邊界也在本階段需要重點(diǎn)研究的另一個(gè)問題。如果RM模型的目標(biāo)是針對(duì)所有提示詞系統(tǒng)所生成輸出都能夠高質(zhì)量的進(jìn)行判斷，該問題所面臨的難度在某種程度上與文本生成等價(jià)，因此如何限定RM 模型應(yīng)用的泛化邊界也是本階段難點(diǎn)問題。

19、強(qiáng)化學(xué)習(xí)（Reinforcement Learning）
答案：
該階段根據(jù)數(shù)十萬用戶給出的提示詞，利用在前一階段訓(xùn)練的RM 模型，給出SFT 模型對(duì)用戶提示詞補(bǔ)全結(jié)果的質(zhì)量評(píng)估，并與語言模型建模目標(biāo)綜合得到更好的效果。該階段所使用的提示詞數(shù)量與有監(jiān)督微調(diào)階段類似，數(shù)量在十萬量級(jí)，并且不需要人工提前給出該提示詞所對(duì)應(yīng)的理想回復(fù)。使用強(qiáng)化學(xué)習(xí)，在SFT 模型基礎(chǔ)上調(diào)整參數(shù)，使得最終生成的文本可以獲得更高的獎(jiǎng)勵(lì)（Reward）。該階段所需要的計(jì)算量相較預(yù)訓(xùn)練階段也少很多，通常也僅需要數(shù)十塊GPU，經(jīng)過數(shù)天時(shí)間的即可完成訓(xùn)練。文獻(xiàn)[7] 給出了強(qiáng)化學(xué)習(xí)和有監(jiān)督微調(diào)的對(duì)比，在模型參數(shù)量相同的情況下，強(qiáng)化學(xué)習(xí)可以得到相較于有監(jiān)督微調(diào)好得多的效果。關(guān)于為什么強(qiáng)化學(xué)習(xí)相比有監(jiān)督微調(diào)可以得到更好結(jié)果的問題，截止到2023年9 月也還沒有完整和得到普遍共識(shí)的解釋。此外，Andrej Karpathy 也指出強(qiáng)化學(xué)習(xí)也并不是沒有問題的，它會(huì)使得基礎(chǔ)模型的熵降低，從而減少了模型輸出的多樣性。** 在經(jīng)過強(qiáng)化學(xué)習(xí)方法訓(xùn)練完成后的RL 模型，就是最終提供給用戶使用具有理解用戶指令和上下文的類ChatGPT 系統(tǒng)。**由于強(qiáng)化學(xué)習(xí)方法穩(wěn)定性不高，并且超參數(shù)眾多，使得模型收斂難度大，再疊加RM 模型的準(zhǔn)確率問題，使得在大 規(guī)模語言模型如何能夠有效應(yīng)用強(qiáng)化學(xué)習(xí)非常困難。

20、哪種技術(shù)有助于減輕基于提示的學(xué)習(xí)中的偏見?
答案：
A.微調(diào)Fine-tuning
B.數(shù)據(jù)增強(qiáng)Data augmentation
C.提示校準(zhǔn)Prompt calibration
D.梯度裁剪Gradient clipping

答案:C

提示校準(zhǔn)包括調(diào)整提示，盡量減少產(chǎn)生的輸出中的偏差。微調(diào)修改模型本身，而數(shù)據(jù)增強(qiáng)擴(kuò)展訓(xùn)練數(shù)據(jù)。
梯度裁剪防止在訓(xùn)練期間爆炸梯度。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“大模型LLM面試題大全超詳細(xì)解析16-20題”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對(duì)AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！