盡管大型語言和推理模型仍然很受歡迎，但企業(yè)越來越多地轉(zhuǎn)向使用較小的模型來運(yùn)行人工智能流程，從而減少能源和成本方面的擔(dān)憂。

3 月 12 日，谷歌宣布推出了 Gemma 3 開源 AI 模型，這是基于與 Gemini 2.0 模型相同的研究和技術(shù)構(gòu)建。

谷歌在其官方博客中表示，Gemma 3 是一組輕量級(jí)的模型，開發(fā)者可以在手機(jī)、筆記本電腦以及工作站這些設(shè)備上直接快速地運(yùn)行。該模型支持超過 35 種語言，并具備分析文本、圖像及短視頻的能力。

谷歌又發(fā)新模型 Gemma 3
Gemma 3 有不同的規(guī)模可供選擇，分別是 10 億參數(shù)（1B）、40 億參數(shù)（4B）、120 億參數(shù)（12B）和 270 億參數(shù)（27B）。開發(fā)者可以根據(jù)自身設(shè)備的硬件條件以及對(duì)性能的要求，選擇適當(dāng)?shù)哪Ｐ汀?/p>

項(xiàng)目地址：https://ollama.com/library/gemma3

谷歌表示，Gemma 3“以其尺寸提供了最先進(jìn)的性能”，并且優(yōu)于 Llama-405B、DeepSeek-V3 和 o3-mini 等領(lǐng)先的 LLM。具體來說，Gemma 3 27B 在 Chatbot Arena Elo 分?jǐn)?shù)測(cè)試中排名第二，僅次于 DeepSeek-R1。它超過了 DeepSeek 的較小模型、DeepSeek v3、OpenAI 的 o3-mini、Meta 的 Llama-405B 和 Mistral Large。

具體來講，Gemma 3 有哪些新功能？谷歌在博客中給出了如下信息：

? 構(gòu)建全球最佳單加速器模型：Gemma 3 在 LMArena 排行榜的初步人類偏好評(píng)估中，表現(xiàn)優(yōu)于 Llama-405B、DeepSeek-V3 和 o3-mini。這幫助用戶創(chuàng)建適合單 GPU 或 TPU 主機(jī)的引人入勝的用戶體驗(yàn)。

? 支持 140 種語言：構(gòu)建能夠使用客戶語言的應(yīng)用。Gemma 3 提供超過 35 種語言的開箱即用支持，并對(duì) 140 多種語言提供預(yù)訓(xùn)練支持。

? 創(chuàng)建具備高級(jí)文本和視覺推理能力的 AI：輕松構(gòu)建能夠分析圖像、文本和短視頻的應(yīng)用程序，為交互式和智能化應(yīng)用開辟新的可能性。

? 通過擴(kuò)展的上下文窗口處理復(fù)雜任務(wù)：Gemma 3 提供 128k token 的上下文窗口（相比之下， Gemma 2 的上下文窗口只有 80K），讓應(yīng)用程序能夠處理和理解大量信息。

? 使用函數(shù)調(diào)用創(chuàng)建 AI 驅(qū)動(dòng)的工作流：Gemma 3 支持函數(shù)調(diào)用和結(jié)構(gòu)化輸出，幫助用戶自動(dòng)化任務(wù)并構(gòu)建代理式體驗(yàn)。

? 通過量化模型實(shí)現(xiàn)更快的高性能：Gemma 3 引入了官方量化版本，在保持高精度的同時(shí)減少模型大小和計(jì)算需求。

該圖表根據(jù) Chatbot Arena Elo 分?jǐn)?shù)對(duì) AI 模型進(jìn)行排名；分?jǐn)?shù)越高（頂部數(shù)字）表示用戶偏好越高。圓點(diǎn)表示預(yù)估的 NVIDIA H100 GPU 需求。Gemma 3 27B 排名靠前，盡管其他模型需要多達(dá) 32 個(gè) GPU，但它僅需單個(gè) GPU 即可運(yùn)行。

谷歌聲稱，Gemma 3 是“世界上最好的單加速器模型”，在配備單個(gè) GPU 的主機(jī)上的性能表現(xiàn)超越了 Facebook 的 Llama、DeepSeek 和 OpenAI 等競(jìng)爭(zhēng)對(duì)手。具體來說，Gemma 3 27B 在 Chatbot Arena Elo 分?jǐn)?shù)測(cè)試中排名第二，僅次于 DeepSeek-R1。它超過了 DeepSeek 的較小模型、DeepSeek v3、OpenAI 的 o3-mini、Meta 的 Llama-405B 和 Mistral Large。

同時(shí)，該模型針對(duì)英偉達(dá)的 GPU 和專用人工智能硬件進(jìn)行了優(yōu)化。谷歌還發(fā)布了一份長達(dá) 26 頁的技術(shù)報(bào)告，深入闡述了這些性能優(yōu)勢(shì)。

論文地址：https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf

Gemma 3 與 Hugging Face Transformers、Ollama、JAX、Keras、PyTorch 等開發(fā)者工具集成。用戶還可以通過 Google AI Studio、Hugging Face 或 Kaggle 訪問 Gemma 3。公司和開發(fā)者可以通過 AI Studio 請(qǐng)求訪問 Gemma 3 API。

有網(wǎng)友對(duì) Gemma 3 和 Qwen 2.5 進(jìn)行了基準(zhǔn)測(cè)試比較，兩者在分?jǐn)?shù)上沒有拉開太大差距，有網(wǎng)友表示，“這是可以接受的，較小的模型具有大致相同的功能?！睋?jù)谷歌報(bào)告得分高于Qwen2.5Max。

模型架構(gòu)做了哪些優(yōu)化
Gemma 3 在架構(gòu)上主要進(jìn)行了兩方面改進(jìn)：下文長度擴(kuò)展和預(yù)訓(xùn)練優(yōu)化。

長上下文的挑戰(zhàn)在于推理過程中 KV 緩存（KV-cache） 內(nèi)存的爆炸式增長。為緩解這一問題，谷歌采用了 5:1 的局部 / 全局層交錯(cuò)機(jī)制，即每 5 層局部層后接 1 層全局層，并以局部層作為模型的第一層開始計(jì)算。

Gemma 3 通過增加“局部注意力層（local attention layers）”相較于全局注意力層（global attention layers）的比例，并縮短局部注意力的跨度（僅 1024 個(gè) tokens），減少了長上下文時(shí) KV 緩存爆炸問題。

當(dāng)前，Gemma 3 支持最長 128K tokens 的上下文長度，但 1B 參數(shù)模型的上下文長度為 32K tokens。為此，Gemma 3 將全局自注意力層的 RoPE（旋轉(zhuǎn)位置編碼）基頻 從 10K 提升至 1M，而局部層的基頻保持在 10K。

預(yù)訓(xùn)練方面，Gemma 3 采用與 Gemini 2.0 相同的 SentencePiece 分詞器，詞匯表規(guī)模為 262K，并針對(duì)非英語語言進(jìn)行了平衡優(yōu)化。

另外，Gemma 3 重新設(shè)計(jì)了數(shù)據(jù)混合策略，以提升模型的多語言能力，并融入圖像理解能力。

相比 Gemma 2，Gemma 3 增加了訓(xùn)練 token 量，以容納圖像和文本的混合數(shù)據(jù)：Gemma 3 27B 使用 14 萬億 tokens 進(jìn)行預(yù)訓(xùn)練；12B 模型使用 12 萬億 tokens；4B 模型使用 4 萬億 tokens；1B 模型使用 2 萬億 tokens。此外，Gemma 3 還大幅增加了多語言數(shù)據(jù)，包括單語數(shù)據(jù)和平行語料。

蒸餾機(jī)制方面，每個(gè) token 采樣 256 個(gè) logits，并按教師模型的分布進(jìn)行加權(quán)，學(xué)生模型通過交叉熵?fù)p失函數(shù)學(xué)習(xí)教師模型樣本上的分布。教師模型的目標(biāo)分布中，未被采樣的 logits 概率被設(shè)為零，并重新歸一化。這種高效的蒸餾過程確保了學(xué)生模型能夠準(zhǔn)確學(xué)習(xí)教師模型的輸出分布，同時(shí)控制計(jì)算成本。

視覺模態(tài)方面，Gemma 3 使用 SigLIP 作為圖像編碼器，將圖像編碼成可由語言模型處理的 token。該視覺編碼器的輸入調(diào)整為 896×896 的矢量圖像。固定輸入分辨率處理使得非長寬比和高精度圖像變得更加困難。為解決推理過程中的這些限制，圖像可以先進(jìn)行適應(yīng)性裁剪，然后將每個(gè)裁剪區(qū)域調(diào)整為 896×896 尺寸，再由圖像編碼器進(jìn)行編碼。該算法被稱為“平移掃描”，它能有效幫助模型聚焦圖像中的更小細(xì)節(jié)。

Gemma 3 中的注意力機(jī)制對(duì)于文本和圖像輸入的處理方式不同。文本使用單向注意力，而圖像則采用全局注意力，沒有遮蔽（mask），允許模型以雙向方式查看圖像的每個(gè)部分，從而對(duì)視覺輸入進(jìn)行完整且沒有任何限制的理解。

谷歌表示，當(dāng)前的 Gemma 3 27B 已經(jīng)處于帕累托最優(yōu)點(diǎn)。

網(wǎng)友：谷歌又一次驚到我了
Gemma 3 發(fā)布后，迅速在 Hacker News 和 Reddit 等平臺(tái)上引發(fā)熱議。有的網(wǎng)友看到 Gemma 3 27B 模型在 LLM Arena 上的得分不淡定了，認(rèn)為 27B 模型就能擊敗 Claude 3.7 Sonnet 讓人難以置信：

“據(jù)谷歌博客，Gemma 3 27B 在 LLM Arena 上的 ELO 為 1338？27B 模型得分高于 Claude 3.7 Sonnet？太瘋狂了?！?br /> 有開發(fā)者對(duì)谷歌的技術(shù)創(chuàng)新表示感謝：

“感謝谷歌，我真的很感激。這真是太棒了！作為一名開發(fā)人員和產(chǎn)品所有者，我非常愿意每周花 6 天時(shí)間從事這樣的項(xiàng)目。與 Gemini 相比，從我的角度來看，這些模型是支持 Gemini 的 MoE（混合專家）的基礎(chǔ)模型——也就是說，它們是專家模型的基礎(chǔ)（通過微調(diào)實(shí)現(xiàn)）?！?br /> 該開發(fā)者還強(qiáng)調(diào)了谷歌需要把這些模型發(fā)布出來的原因在于：

“第一，谷歌自身需求：谷歌需要這些模型來支持其內(nèi)部的技術(shù)開發(fā)和實(shí)驗(yàn)；第二，社區(qū)評(píng)審：通過開放這些模型，谷歌可以讓社區(qū)（開發(fā)者、研究人員等）參與評(píng)審和改進(jìn)，從而提升模型的質(zhì)量和可靠性。第三：客戶安全：這些模型可以幫助客戶在安全的環(huán)境中使用 AI 技術(shù)，例如通過微調(diào)模型來適應(yīng)私有數(shù)據(jù)集，而不必直接依賴谷歌的云端服務(wù)。

因?yàn)榭梢允褂眠@些模型，基于自己的私人數(shù)據(jù)集對(duì) Gemini 的性能進(jìn)行微調(diào)。”
在 Hacker News 平臺(tái)，有用戶稱自己在家里經(jīng)常使用 Gemma 2，因?yàn)樗匀槐憩F(xiàn)良好。

“9B 版本在我的 2080Ti 上運(yùn)行得非常流暢。它的強(qiáng)大性能和整體能力使其非常實(shí)用。我期待嘗試 Gemma 3。不過，我有一些可能比較基礎(chǔ)的問題，想請(qǐng)教一下：你們是如何決定模型大小的？這些模型是如何訓(xùn)練的？是獨(dú)立訓(xùn)練的，還是它們之間存在某種關(guān)聯(lián)？”
該用戶的提問得到了谷歌 Gemma 團(tuán)隊(duì)成員 alekandreev（Hacker News 用戶 ID）的回復(fù)。alekandreev 表示：

選擇模型大小并不是一門精確的科學(xué)。我們主要根據(jù)不同的設(shè)備類別（例如低端和高端智能手機(jī)、筆記本電腦、16GB GPU 以及更大的 GPU/TPU）來確定合適的模型尺寸。此外，我們希望模型的寬度與深度（層數(shù)）的比例始終保持在 90 左右，因?yàn)槲覀儼l(fā)現(xiàn)這是最佳的比例。

這些模型是通過從更大的教師模型中提煉（蒸餾）來訓(xùn)練的。對(duì)于 Gemma 3，我們獨(dú)立訓(xùn)練了不同規(guī)模的模型，但在 v3 中，我們統(tǒng)一了 4B 到 27B 的訓(xùn)練配方。這樣做的目的是在擴(kuò)大或縮小模型規(guī)模時(shí)，為您提供更一致的性能和可預(yù)測(cè)性。
InfoQ 還留意到，alekandreev 在發(fā)布 Gemma 3 時(shí)，還甩出了一則招聘啟事，在招聘啟事中，Gemma 團(tuán)隊(duì)強(qiáng)調(diào)應(yīng)聘者需要具備的技能和經(jīng)驗(yàn)包括：構(gòu)建和維護(hù)大型軟件系統(tǒng)、分布式系統(tǒng)、具有 Python 和靜態(tài)類型編程語言的經(jīng)驗(yàn)（Gemma 主要使用 Python 編程）、編寫設(shè)計(jì)文檔和代碼審查、愿意適應(yīng)研究環(huán)境等。

招聘地址：https://boards.greenhouse.io/deepmind/jobs/6590957

小模型和蒸餾工藝正在興起
自谷歌于 2024 年 2 月首次發(fā)布 Gemma 以來，外界對(duì)小型語言模型的興趣與日俱增。其他小型模型（如微軟的 Phi-4 和 Mistral Small 3）的出現(xiàn)表明，企業(yè)希望使用與大語言模型一樣強(qiáng)大的模型構(gòu)建應(yīng)用程序，但不一定能充分利用大語言模型的全部功能。

與傳統(tǒng)的大模型相比，小模型在特定任務(wù)中表現(xiàn)出色，尤其是在資源有限的環(huán)境中。企業(yè)開始意識(shí)到，并非所有應(yīng)用場(chǎng)景都需要大語言模型的全部功能。例如，在簡(jiǎn)單的代碼編輯器或特定領(lǐng)域的任務(wù)中，較小的模型（無論是 SLM 還是通過蒸餾工藝精簡(jiǎn)的版本）可以更高效地完成任務(wù)，而不會(huì)造成資源浪費(fèi)或過度擬合。

蒸餾工藝作為一種將大型模型的知識(shí)轉(zhuǎn)移到小型模型的技術(shù)，正逐漸成為企業(yè)優(yōu)化 AI 部署的重要手段。通過蒸餾，企業(yè)可以創(chuàng)建更小、更高效的模型版本，同時(shí)保留原始模型的性能。然而，值得注意的是，Gemma 并非 Gemini 2.0 的蒸餾版本。Gemma 是基于相同的數(shù)據(jù)集和架構(gòu)獨(dú)立訓(xùn)練的，而不是從更大的模型中學(xué)習(xí)。

組織通常更喜歡將某些用例擬合到模型中。與將 o3-mini 或 Claude 3.7 Sonnet 等 LLM 部署到簡(jiǎn)單的代碼編輯器相比，較小的模型（無論是 SLM 還是精簡(jiǎn)版）都可以輕松完成這些任務(wù)，而不會(huì)過度擬合大型模型。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“谷歌新模型 Gemma 3用更少參數(shù)打敗 Qwen 2.5-32B！”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對(duì)AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請(qǐng)關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！