哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來到每日的AI學習時間。今天，我們將一起深入AI的奇妙世界，探索“《大模型輕量化微調(diào)實操手冊(V1.0)》電子書下載”，并學會本篇文章中所講的全部知識點。還是那句話“不必遠征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學有所成，學以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學習之旅吧。

《大模型輕量化微調(diào)實操手冊(V1.0)》電子書下載：

大模型輕量化微調(diào)實操手冊總結(jié)

一、項目背景與費用消耗
背景
本手冊記錄了基于Qwen2.5-7B-Instruct大模型進行微調(diào)，以實現(xiàn)酒店推薦的垂直大模型。

費用消耗
微調(diào)過程共消耗88分鐘，費用為2.08元/小時，總計花費3.05元。

二、訓練環(huán)境準備

注冊與認證
在AutoDL官網(wǎng)進行賬號注冊并實名認證。

GPU選擇與實例創(chuàng)建
使用AutoDL的4090云GPU作為訓練測試環(huán)境。
選擇開源社區(qū)鏡像agiclass/fine-tuning-lab/finetune-lab-v8，該鏡像已配置好微調(diào)所需依賴包環(huán)境。
創(chuàng)建實例后，狀態(tài)為“運行中”表示創(chuàng)建完成并開始計費。

三、微調(diào)前準備工作

連接實例
使用SSH客戶端（如Termius）遠程登錄服務器，并連接SFTP服務進行文件傳輸。

下載預訓練模型
從HuggingFace的鏡像網(wǎng)站hf-mirror.com下載Qwen2.5-7B-Instruct模型。
使用命令行進行模型下載，下載時間大約30分鐘。

上傳代碼
將代碼壓縮為zip包并通過SFTP上傳至服務器。
解壓代碼包至指定目錄。

四、微調(diào)進行中

訓練
使用LoRA進行微調(diào)訓練，命令行執(zhí)行bash train.sh。
訓練耗時約45分鐘，生成文件位于/root/autodl-tmp/fine-tuning-lab/qwen2/output目錄下。

訓練過程可視化
使用TensorBoard工具可視化訓練過程中的loss。
運行命令tensorboard –logdir=output/hotel-qwen2-20240720-16221221 –bind_all。
可通過AutoDL實例的自定義服務訪問TensorBoard可視化頁面。

五、微調(diào)后測試
在測試集上進行推理測試，計算SLOT和BLEU指標。
修改eval.sh文件中的checkpoint路徑。
執(zhí)行bash eval.sh進行測試，耗時約13分鐘。

六、模型使用
使用提供的web_demo代碼進行模型使用測試。
修改own2_lotra.sh文件中的參數(shù)以使用訓練后的模型。
執(zhí)行相應命令進行測試。

通過以上步驟，可以實現(xiàn)基于Qwen2.5-7B-Instruct大模型的酒店推薦垂直大模型的微調(diào)與應用。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關于“《大模型輕量化微調(diào)實操手冊(V1.0)》電子書下載”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹記，精準提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學習更多的AI知識，請關注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！