哈嘍！伙伴們，我是小智，你們的AI向導。歡迎來到每日的AI學習時間。今天，我們將一起深入AI的奇妙世界，探索“最強Huggingface新手入門手冊”，并學會本篇文章中所講的全部知識點。還是那句話“不必遠征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學有所成，學以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學習之旅吧。

最強Huggingface新手入門手冊：

Huggingface 即是網(wǎng)站名也是其公司名，隨著 transformer 浪潮，Huggingface 逐步收納了眾多最前沿的模型和數(shù)據(jù)集等有趣的工作，與 transformers 庫結合，可以快速使用學習這些模型。目前提到 NLP 必然繞不開 Huggingface。

1.Huggingface 的具體介紹
進入 Huggingface 網(wǎng)站,如下圖所示。

其主要包含：
Models（模型），包括各種處理 CV 和 NLP 等任務的模型，上面模型都是可以免費獲得
Datasets（數(shù)據(jù)集），包括很多數(shù)據(jù)集
Spaces（分享空間），包括社區(qū)空間下最新的一些有意思的分享，可以理解為 huggingface 朋友圈Docs（文檔，各種模型算法文檔），包括各種模型算法等說明使用文檔
Solutions（解決方案，體驗等），包括 others
Pricing（dddd） ，懂的都懂

2.Huggingface 的 Models
點開 Models?？梢钥吹较聢D的任務，再點開+23 Tasks。

可以看到下圖所有的任務。
其中，主要包括計算機視覺、自然語言處理、語音處理、多模態(tài)、表格處理、強化學習。

展開介紹：
Computer Vision（計算機視覺任務）：包括 lmage Classification（圖像分類），lmage Segmentation（圖像分割）、zero-Shotlmage Classification（零樣本圖像分類）、lmage-to-Image（圖像到圖像的任務）、Unconditional lmage Generation（無條件圖像生成）、Object Detection(目標檢測)、Video Classification（視頻分類）、Depth Estimation(深度估計，估計拍攝者距離圖像各處的距離)Natural Language Processing（自然語言處理）：包括 Translation（機器翻譯）、Fill-Mask(填充掩碼，預測句子中被遮掩的詞)、Token Classification（詞分類）、Sentence Similarity（句子相似度）、Question Answering（問答系統(tǒng)），Summarization（總結，縮句）、Zero-Shot Classification (零樣本分類)、Text Classification（文本分類）、Text2Tex（t 文本到文本的生成）、Text Generation（文本生成）、Conversational（聊天）、Table Question Answer（表問答，1.預測表格中被遮掩單詞2.數(shù)字推理，判斷句子是否被表格數(shù)據(jù)支持）

Audio（語音）：Automatic Speech Recognition（語音識別）、Audio Classification（語音分類）、Text-to-Speech（文本到語音的生成）、Audio-to-Audio（語音到語音的生成）、Voice Activity Detection（聲音檢測、檢測識別出需要的聲音部分）

Multimodal（多模態(tài)）：Feature Extraction（特征提?。?、Text-to-Image（文本到圖像）、Visual Question Answering（視覺問答）、Image2Text（圖像到文本）、Document Question Answering（文檔問答）

Tabular（表格）：Tabular Classification（表分類）、Tabular Regression（表回歸）

Reinforcement Learning（強化學習）：Reinforcement Learning（強化學習）、Robotics（機器人）

模型的使用

一般來說，頁面上會給出模型的介紹。例如，我們打開其中一個 fill-mask 任務下下載最多的模型 bert-base-uncased。

可以看到模型描述：

使用方法-1

需要提前安裝 transformers 庫，可以直接 pip install transformers 安裝。還有 Pytorch 或 TensorFlow 庫，讀者自行下載。下載完后可以使用 pipeline 直接簡單的使用這些模型。第一次執(zhí)行時 pipeline 會加載模型，模型會自動下載到本地，可以直接用。第一個參數(shù)是任務類型，第二個是具體模型名字。

from transformers import pipeline
unmasker = pipeline(‘fill-mask’,model=’bert-base-uncased’) unmasker(“Hello I’m a [MASK] model.”)

模型下載在本地的地址：

C:Users【自己的用戶名】.cachehuggingfacehub 、

當然，不同模型使用方法略有區(qū)別，直接通過頁面學習或文檔學習最好

可以自定義加載輸入分詞器:使用 AutoTokenizer

from transformers import AutoTokenizer #下面這種方式可以自動加載 bert-base-uncased 中使用的分詞器
tokenizer=AutoTokenizer.from_pretrained(“bert-base-uncased”)

可以自定義加載模型結構:使用 AutoModel
不包括輸入分詞器和輸出部分?。?！

from transformers import AutoModel
#下面這種方式可以自動加載 bert-base-uncased 中使用的模型，沒有最后的全連接輸出層和 softmax
model=AutoModel.from_pretrained(“bert-base-uncased”)

可以自定義加載模型和輸出部分:使用 AutoModelForSequenceClassification 等

from transformers import AutoModelForSequenceClassification
#下面這種方式可以自動加載 bert-base-uncased 中使用的模型（包括了輸出部分），有最后的全連接輸出層
model=AutoModel.AutoModelForSequenceClassification(“bert-base-uncased”)

模型保存

model.save_pretrained(“./”)#保持到當前目錄

一個簡單流程例子：

input=[‘The first sentence!’,’The second sentence!’]
from transformers import AutoTokenizer
tokenizer=AutoTokenizer.from_pretrained(“distilbert-base-uncased-finetuned-sst-2-english”)#https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english
input=tokenizer(input, padding=True, truncation=True, return_tensors=’pt’)#padding=’max_length’ from transformers import AutoModelForSequenceClassification
model=AutoModel.AutoModelForSequenceClassification(“distilbert-base-uncased-finetuned-sst-2-english”)
print(model)
output=model(**input)
print(output.logits.shape)
import torch
predictions=torch.nn.functional.softmax(output.logits, dim=1)
print(predictions)
print(model.config.id2label)

使用方法-2

下面以 ChatGLM2-6B 為例（見上圖），先在 github 上 git 下 ChatGLM2-6B 除模型外的相關文件

git clone https://github.com/THUDM/ChatGLM2-6B.git cd ChatGLM2-6B

再安裝好相關依賴

pip install -r requirements.txt

接下來可以類似剛才的方法一直接執(zhí)行下面代碼，會在網(wǎng)上自動下載模型文件

>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained(“THUDM/chatglm2-6b”, trust_remote_code=True)
>>> model = AutoModel.from_pretrained(“THUDM/chatglm2-6b”, trust_remote_code=True, device=’cuda’)
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, “你好”, history=[])
>>> print(response)
你好 !我是人工智能助手 ChatGLM2-6B,很高興見到你,歡迎問我任何問題。
>>> response, history = model.chat(tokenizer, “晚上睡不著應該怎么辦”, history=history)
>>> print(response)
晚上睡不著可能會讓你感到焦慮或不舒服,但以下是一些可以幫助你入睡的方法:
1. 制定規(guī)律的睡眠時間表:保持規(guī)律的睡眠時間表可以幫助你建立健康的睡眠習慣,使你更容易入睡。盡量在每天的相同時間上床,并在同一時間起床。
2. 創(chuàng)造一個舒適的睡眠環(huán)境:確保睡眠環(huán)境舒適,安靜,黑暗且溫度適宜?？梢允褂檬孢m的床上用品,并保持房間通風。
3. 放松身心:在睡前做些放松的活動,例如泡個熱水澡,聽些輕柔的音樂,閱讀一些有趣的書籍等,有助于緩解緊張和焦慮,使你更容易入睡。
4. 避免飲用含有咖啡因的飲料:咖啡因是一種刺激性物質,會影響你的睡眠質量。盡量避免在睡前飲用含有咖啡因的飲料,例如咖啡,茶和可樂。
5. 避免在床上做與睡眠無關的事情:在床上做些與睡眠無關的事情,例如看電影,玩游戲或工作等,可能會干擾你的睡眠。
6. 嘗試呼吸技巧:深呼吸是一種放松技巧,可以幫助你緩解緊張和焦慮,使你更容易入睡。試著慢慢吸氣,保持幾秒鐘,然后緩慢呼氣。如果這些方法無法幫助你入睡,你可以考慮咨詢醫(yī)生或睡眠專家,尋求進一步的建議。

也可以方法二，找到 huggingface 上 ChatGLM2-6B 模型地址，直接git

git clone https://huggingface.co/THUDM/chatglm2-6b

然后打開剛才的 ChatGLM2-6B 里的 web_demo.py，修改里面的模型和 AutoTokenizer 目錄，為剛才git 模型的目錄，例如我在ChatGLM2-6B 里新建了一個 model，在 model 目錄下 git 模型的，所以我的目錄修改為下圖

最后，在終端直接執(zhí)行下面代碼

python web_demo.py

點擊下圖鏈接，即可使用 ChatGLM2-6B

3.Huggingface 的 dataset

可以看到有如下任務的數(shù)據(jù)集。讀者可自行打開學習

例如，我們打開 Text Classification 任務的 glue 數(shù)據(jù)集

可以看到下圖，里面會有數(shù)據(jù)集的介紹、相關信息和下載方式，讀者自行查看。

加粗樣式
導入數(shù)據(jù)集方法（提前 pip install datasets）

from datasets import load_dataset
datasets=load_dataset(“glue”,”mrpc”)#glue 下還有其他數(shù)據(jù)集
print(datasets)
train_data=datasets[‘train’]
print(train_data[0])

有了數(shù)據(jù)后訓練模型方法

#下面給出 bert-base-uncased 的例子，實現(xiàn)對兩個句子的相似度計算
#導入 tokenizer
from transformers import AutoTokenizer
tokenizer=AutoTokenizer.from_pretrained(“bert-base-uncased”)#https://huggingface.co/bert-base-uncased#input=tokenizer(‘The first sentence!’,’The second sentence!’)#測試
#print(tokenizer.convert_ids_to_tokens(input[“input_id”]))
#實際使用 tokenizer 的方法，得到 tokenizer_data
def tokenize_function(example):
return tokenizer(example[“sentence1”],example[“sentence2”],truncation=True)
from datasets import load_dataset
datasets=load_dataset(“glue”,”mrpc”)
tokenizer_data=datasets.map(tokenize_function,batched=True)
print(tokenizer_data)
#訓練參數(shù)
from transformers import TrainingArguments
training_arg=TrainingArguments(“test-trainer”)#訓練參數(shù)，可以自己去改，參數(shù)意思參考
https://huggingface.co/docs/transformers/main_classes/trainer#transformers.TrainingArguments
print(training_arg)#看下默認值
#導入模型
from transformers import AutoModelForSequenceClassification
model=AutoModelForSequenceClassification.from_pre_trained(“bert-base-uncased”,num_labels=2)#num_labels自己定義了，所以不會導入輸出層
#導入數(shù)據(jù)處理的一個東西 DataCollatorWithPadding，變成一個一個 batch
from transformers import DataCollatorWithPadding
data_collator=DataCollatorWithPadding(tokenizer=tokenizer)
#導入訓練器，進行訓練,API : https://huggingface.co/docs/transformers/main_classes/trainer#transformers.Trainer
from transformers import Trainer
trainer=Trainer(model,training_arg,train_dataset=tokenizer_data[“train”],eval_dataset=tokenizer_data[“validation”],data_collator=data_collator,tokenizer=tokenizer)
trainer.train()

4.Huggingface 的 spaces

比如，我看到一個有趣的擴散模型的 app打開后發(fā)現(xiàn)其可以實現(xiàn)許多多模態(tài)之間的轉換。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結束。關于“最強Huggingface新手入門手冊”的內容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹記，精準提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學習更多的AI知識，請關注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！