哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“《大模型LLMs加速篇》電子書下載”，并學(xué)會(huì)本篇文章中所講的全部知識(shí)點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

《大模型LLMs加速篇》電子書下載：

這篇文章詳細(xì)介紹了大模型（LLMs）加速的相關(guān)技術(shù)和框架，包括算法、軟件和硬件層面的優(yōu)化，以及推理加速框架的特點(diǎn)和功能。以下是文章的主要內(nèi)容：

當(dāng)前優(yōu)化模型的主要技術(shù)手段
1. 算法層面
??蒸餾??：通過訓(xùn)練一個(gè)較小的模型來模仿較大模型的行為，從而提高效率。
??量化??：將模型參數(shù)從浮點(diǎn)數(shù)轉(zhuǎn)換為整數(shù)，以減少計(jì)算和存儲(chǔ)需求。

2. 軟件層面
??計(jì)算圖優(yōu)化??：優(yōu)化模型的計(jì)算圖結(jié)構(gòu)，減少不必要的計(jì)算。
??模型編譯??：將模型轉(zhuǎn)換為高效的執(zhí)行代碼。

3. 硬件層面
??FP8??：NVIDIA H系列GPU開始支持FP8，兼具FP16的穩(wěn)定性和INT8的速度。

推理加速框架
1. FasterTransformer
??特點(diǎn)??：不修改模型架構(gòu)，優(yōu)化Transformer的encoder和decoder模塊。
??融合操作??：盡可能多地融合除GEMM以外的操作。
??支持格式??：FP16、INT8、FP8。
??減少計(jì)算開銷??：移除encoder輸入中無用的padding。

2. TurboTransformers
??組成??：由computation runtime及serving framework組成。
??適用性??：適用于CPU和GPU。
??處理變長輸入序列??：無需預(yù)處理便可處理變長的輸入序列。
??smart batching??：最小化zero-padding開銷。
??批處理??：對LayerNorm和Softmax進(jìn)行批處理，適合并行計(jì)算。
??模型感知分配器??：確保在可變長度請求服務(wù)期間內(nèi)存占用較小。

vLLM的功能和優(yōu)點(diǎn)
1. 功能
??Continuous Batching??：iteration-level的調(diào)度機(jī)制，適應(yīng)大量查詢。
??Paged Attention??：受操作系統(tǒng)中虛擬內(nèi)存和分頁思想啟發(fā)。

2. 優(yōu)點(diǎn)
??推理速度??：實(shí)驗(yàn)顯示vLLM的推理速度最快。
??高吞吐量服務(wù)??：支持多種解碼算法，如parallel sampling, beam search等。
??兼容性??：與OpenAI API兼容，只需替換端點(diǎn)URL。

3. 缺點(diǎn)
??自定義模型??：添加自定義模型過程復(fù)雜，特別是模型架構(gòu)不一致時(shí)。
??適配器支持??：缺乏對LoRA、QLoRA等適配器的支持。
??權(quán)重量化??：缺少權(quán)重量化功能，影響GPU內(nèi)存消耗。

vLLM離線批量推理
1. 安裝和使用
??安裝??：pip install vllm
??示例代碼??：

from vllm import LLM, SamplingParams

sampling_params = SamplingParams(temperature=0.95, top_p=0.95, max_tokens=200)
llm = LLM(model=”huggyllama/llama-13b”)
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(f”Prompt:{prompt!r}, Generated text:{generated_text!r}”)

vLLM API Server
1. 啟動(dòng)和使用
??啟動(dòng)服務(wù)器??：python-m vllm.entrypoints.api_server –env MODEL_NAME=huggyllama/llama-13b
??查詢模型??：使用curl命令查詢模型：

curl http://localhost:8000/generate -d ‘{“prompt”:”Funniest joke ever:”,”n”: 1,”temperature”: 0.95,”max_tokens”: 200}’

Text generation inference
1. 功能
??內(nèi)置服務(wù)評估??：監(jiān)控服務(wù)器負(fù)載并深入了解性能。
??優(yōu)化技術(shù)??：使用flash attention和Paged attention優(yōu)化transformer推理代碼。

2. 優(yōu)點(diǎn)
??依賴項(xiàng)管理??：所有依賴項(xiàng)安裝在Docker中，提供現(xiàn)成環(huán)境。
??HuggingFace模型支持??：輕松運(yùn)行自己的模型或使用HuggingFace模型中心。
??推理控制??：提供一系列管理模型推理的選項(xiàng)，如精度調(diào)整、量化、張量并行性、重復(fù)懲罰等。

3. 缺點(diǎn)
??適配器支持??：缺乏對適配器的支持，盡管可以使用適配器部署LLM。
??編譯要求??：從源代碼（Rust+CUDA內(nèi)核）編譯，對不熟悉Rust的人具有挑戰(zhàn)性。
??文檔不完整??：盡管項(xiàng)目自述文件涵蓋了基礎(chǔ)知識(shí)，但更多細(xì)節(jié)需搜索問題或源代碼。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“《大模型LLMs加速篇》電子書下載”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！