哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“蘋果超Qwen 2.5：三行代碼接入AI推理”，并學(xué)會本篇文章中所講的全部知識點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

蘋果超Qwen 2.5：三行代碼接入AI推理：

在今年的 WWDC 全球開發(fā)者大會上，蘋果推出新一代專為增強(qiáng) Apple Intelligence 功能所開發(fā)的語言基座模型。經(jīng)過優(yōu)化的最新基座模型可在蘋果芯片上高效運(yùn)行，包括一個(gè)約 3B 參數(shù)的緊湊型模型和一個(gè)基于服務(wù)器的混合專家模型，后者為專門針對私有云量身定制的全新架構(gòu)。

這兩大基座模型，均隸屬于蘋果為支持用戶而打造的生成式模型家族。這些模型改進(jìn)了工具使用與推理能力，可以理解圖像與文本輸入，速度更快、效率更高，而且能夠支持 15 種語言及平臺中集成的各種智能功能。

同時(shí)，蘋果推出了全新基座模型框架（Foundation Models Framework），允許第三方開發(fā)者直接訪問 Apple Intelligence 的核心大型語言模型，并將其構(gòu)建到他們的 APP 中。應(yīng)用開發(fā)者將可以免費(fèi)使用 AI 推理功能，只需幾行代碼即可訪問，并輕松將文本提取和摘要等功能引入自己的應(yīng)用。

所有語言環(huán)境下均優(yōu)于參數(shù)更大的 Qwen

“蘋果開發(fā)新的設(shè)備端與服務(wù)器端模型，是為了滿足廣泛的性能與部署需求?！睋?jù)介紹，設(shè)備端模型針對效率進(jìn)行了優(yōu)化，并專為蘋果芯片定制，強(qiáng)調(diào)以最低資源占用實(shí)現(xiàn)低延遲推理；而服務(wù)器端模型則將為更復(fù)雜的任務(wù)提供高精度與可擴(kuò)展性支持。

據(jù)介紹，蘋果通過開發(fā)新的模型架構(gòu)來提高這兩個(gè)模型的效率。對于設(shè)備端模型，將整個(gè)模型按 5：3 的深度比分為兩塊。塊 2 中的所有鍵值（KV）緩存都直接與塊 1 最后一層生成的緩存共享，由此將鍵值緩存的內(nèi)存占用量降低了 38.5%，同時(shí)顯著改善了首個(gè) token 生成時(shí)間（time-to-first-token）。

蘋果還引入并行軌道專家混合 （PT-MoE） 設(shè)計(jì)，為服務(wù)器端模型開發(fā)出一套新架構(gòu)。此模型由多個(gè)較小的 Transformer（即「軌道」）組成，它們獨(dú)立處理各 token，僅在各軌道塊的輸入和輸出邊界處應(yīng)用同步。每個(gè)軌道塊還擁有自己的一組 MoE 層。結(jié)合依托軌道獨(dú)立性實(shí)現(xiàn)的軌道級并行機(jī)制，這樣的設(shè)計(jì)顯著降低了同步開銷，使得模型在不影響質(zhì)量、保持低延遲的前提下?lián)碛懈咝U(kuò)展能力。

此外，為支持更長的上下文輸入窗口，蘋果設(shè)計(jì)了一種交錯(cuò)注意力架構(gòu)，將滑動窗口局部注意力層與旋轉(zhuǎn)位置嵌入（RoPE）相結(jié)合，并將全局注意力層與無位置嵌入（NoPE）相結(jié)合。這樣的設(shè)置提升了長度泛化能力，減少了鍵值緩存大小，并可在長上下文推薦期間保持更好的模型質(zhì)量。

完成一系列優(yōu)化后，蘋果從標(biāo)準(zhǔn)的基礎(chǔ)語言和推理能力維度，使用人工評分員對設(shè)備端和服務(wù)器端模型進(jìn)行了離線質(zhì)量評估，涵蓋分析推理、頭腦風(fēng)暴、對話交互、分類、封閉式問答、編碼、創(chuàng)意寫作、信息提取、數(shù)學(xué)推理、開放式問答、改寫、總結(jié)以及工具使用等方面。隨著將模型支持?jǐn)U展到更多語種及語言環(huán)境，蘋果也同步擴(kuò)展了評估任務(wù)集，使其能夠針對特定語言環(huán)境進(jìn)行評估。

據(jù)蘋果公布的評測結(jié)果顯示，設(shè)備端模型在所有語言環(huán)境下的表現(xiàn)均優(yōu)于體量略大的 Qwen-2.5-3B，而且在英語環(huán)境下可以與體量更大的 Qwen-3-4B 及 Gemma-3-4B 相媲美。服務(wù)器端模型則優(yōu)于 Llama-4-Scout，后者的總體規(guī)模與有效參數(shù)數(shù)量均與其相當(dāng)；但仍落后于 Qwen-3-235B 及專有的 GPT-4o 等更大模型。

在將設(shè)備端模型與類似規(guī)模的視覺模型（即 InternVL-2.5-4B、Qwen-2.5-VL-3B-Instruct 和 Gemma-3-4B）、服務(wù)器端模型與 Llama-4-Scout、Qwen-2.5-VL-32B 和 GPT-4o 分別進(jìn)行對比時(shí)，蘋果的設(shè)備端模型表現(xiàn)優(yōu)于規(guī)模更大的 InternVL 和 Qwen，與 Gemma 相比也毫不遜色；而服務(wù)器端模型在推理 FLOPS 不到后者一半的情況下，性能優(yōu)于 Qwen-2.5-VL，但不及 Llama-4-Scout 與 GPT-4o。

據(jù)悉，為實(shí)現(xiàn)視覺功能，蘋果團(tuán)隊(duì)還開發(fā)了一個(gè)由大規(guī)模圖像數(shù)據(jù)訓(xùn)練而成的視覺編碼器，它由一個(gè)用于提取豐富特征的視覺主干網(wǎng)絡(luò)與一個(gè)用于將特征與大模型標(biāo)記表示對齊的視覺語言適配器組成。蘋果使用具有 1B 參數(shù)的標(biāo)準(zhǔn) Vision Transformer（ViT-g）作為服務(wù)器模型，并使用具有 3 億參數(shù)的高效 ViTDet-L 主干網(wǎng)絡(luò)作為設(shè)備部署模型，還在標(biāo)準(zhǔn) ViTDet 中引入了一種新的寄存器窗口（RW）機(jī)制，以便更有效地捕捉全局上下文與局部細(xì)節(jié)。

訓(xùn)練方案大改進(jìn)，推理能力是重頭戲？

過去一年里，為擴(kuò)展 Apple Intelligence 功能以支持更多語言和各類需要圖像理解等更廣泛的功能，蘋果團(tuán)隊(duì)對基座模型的訓(xùn)練方案也經(jīng)歷了一系列改進(jìn)，尤其是針對推理方面。

首先，預(yù)訓(xùn)練分多個(gè)階段進(jìn)行，其中計(jì)算量最大的第一階段僅針對文本模態(tài)。其使用蒸餾損失函數(shù)對設(shè)備端模型進(jìn)行訓(xùn)練，但具體方式并非使用大規(guī)模密集模型作為教師模型來從頭開始進(jìn)行預(yù)訓(xùn)練，而是使用少量質(zhì)量最高的文本數(shù)據(jù)，將預(yù)先訓(xùn)練好的約 3B 模型稀疏升級為一個(gè)包含 64 個(gè)專家、每 2 層對應(yīng)一個(gè)專家的混合模型（MoE）。這種方式將教師模型的訓(xùn)練成本降低了 90%。另一方面，稀疏服務(wù)器端模型則是使用 14T 個(gè)文本 token 從頭開始訓(xùn)練而成。

在預(yù)訓(xùn)練的第二階段，該團(tuán)隊(duì)使用小模型解碼器對視覺編碼器及視覺語言自適應(yīng)模塊進(jìn)行聯(lián)合訓(xùn)練，使用高質(zhì)量文本數(shù)據(jù)、交錯(cuò)圖文數(shù)據(jù)和特定領(lǐng)域的圖文數(shù)據(jù)將圖像特征與模型的表征空間進(jìn)行對齊。之后，他們利用這些視覺編碼器與預(yù)訓(xùn)練模型來改進(jìn)代碼、數(shù)學(xué)、多語言及長上下文理解能力，并通過多個(gè)持續(xù)進(jìn)行的預(yù)訓(xùn)練階段整合了圖像理解。

到持續(xù)預(yù)訓(xùn)練階段，蘋果團(tuán)隊(duì)調(diào)整了數(shù)據(jù)集混合比，同時(shí)整合了經(jīng)過正確性驗(yàn)證的合成數(shù)據(jù)，借此提升代碼、數(shù)學(xué)與多語言能力；之后又通過多模態(tài)自適應(yīng)整合了視覺理解，且并未損害模型的文本能力。在此階段，他們從頭開始訓(xùn)練了一個(gè)視覺語言自適應(yīng)模塊，借此將視覺編碼器接入設(shè)備端 / 服務(wù)器端兩個(gè)基座模型。

后訓(xùn)練流程中，該團(tuán)隊(duì)將人工編寫的演示與合成數(shù)據(jù)結(jié)合起來以擴(kuò)展監(jiān)督微調(diào)（SFT）規(guī)模，旨在重點(diǎn)關(guān)注核心視覺功能，其中包括常識、推理、基于文本的圖像理解、文本與視覺基礎(chǔ)以及多圖像推理。通過檢索更多圖像并合成相應(yīng)的提示詞與響應(yīng)結(jié)果對，其進(jìn)一步提升了視覺 SFT 數(shù)據(jù)的多樣性。

在 SFT 階段之后，他們將基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）應(yīng)用于設(shè)備端與服務(wù)器端模型，同時(shí)提出一種基于模型多代獎勵(lì)方差的新穎提示選擇算法，用以整理 RLHF 訓(xùn)練中使用的提示詞數(shù)據(jù)集。評估結(jié)果表明，RLHF 在人類與自動基準(zhǔn)測試中均取得了顯著提升。此外，雖然他們在 SFT 和 RLHF 階段均引入了多語言數(shù)據(jù)，但從結(jié)果來看 RLHF 的提升比 SFT 更為顯著，在人類評估中的優(yōu)勢比例為 16：9。

為在提高推理效率的同時(shí)降低設(shè)備端與服務(wù)器端模型的運(yùn)行功耗，蘋果團(tuán)隊(duì)接下來使用量化感知訓(xùn)練（QAT）技術(shù)將設(shè)備端模型壓縮至每權(quán)重 2 bit（bpw），服務(wù)器端模型則使用一種名為自適應(yīng)可擴(kuò)展紋理壓縮（ASTC）且基于塊的紋理壓縮方法。ASTC 解壓縮則是通過蘋果 GPU 中的專用硬件組件實(shí)現(xiàn)，該組件能夠在不增加額外計(jì)算開銷的情況下實(shí)現(xiàn)權(quán)重解碼。

面向兩個(gè)模型，蘋果團(tuán)隊(duì)將嵌入表量化為每權(quán)重 4 bit，對設(shè)備端模型使用 QAT 與基礎(chǔ)權(quán)重進(jìn)行聯(lián)合訓(xùn)練，對服務(wù)器端模型使用后訓(xùn)練量化；鍵值緩存被量化為每權(quán)重 8 bit。然后，他們使用額外數(shù)據(jù)訓(xùn)練低軼適配器，以恢復(fù)因壓縮步驟而損失的質(zhì)量。通過這些技術(shù)，研究人員觀察到一定程度的質(zhì)量回歸甚至是細(xì)微提升，如設(shè)備端模型的 MGSM 回歸約為 4.6%，MMLU 提升 1.5%；服務(wù)器端模型的 MGSM 回歸為 2.7%，MMLU 回歸為 2.3%。

三行代碼接入Apple Intelligence核心模型

關(guān)于蘋果將開放其 Apple Intelligence 平臺的傳聞，今年早些時(shí)候已開始流傳。5 月，有外媒報(bào)道稱，蘋果將邁出第一步，讓第三方應(yīng)用能夠訪問其智能系統(tǒng)，不過應(yīng)用無法直接調(diào)用模型本身，只能使用 AI 驅(qū)動的功能。

現(xiàn)在，借助最新發(fā)布的基座模型框架，蘋果正為開發(fā)者提供在自有應(yīng)用中使用原生 AI 能力的機(jī)會，第三方應(yīng)用將能夠借助這些功能實(shí)現(xiàn)圖像生成、文本創(chuàng)作等更多場景。開發(fā)人員可以使用 ~3B 參數(shù)設(shè)備端語言模型開始創(chuàng)建自己的可靠、生產(chǎn)質(zhì)量的生成式 AI 功能。作為 Apple Intelligence 核心的 ~3B 語言基礎(chǔ)模型擅長各種文本任務(wù)，如摘要、實(shí)體提取、文本理解、優(yōu)化、簡短對話、生成創(chuàng)意內(nèi)容等。

“我們鼓勵(lì)應(yīng)用開發(fā)者使用此框架來構(gòu)建針對其應(yīng)用量身定制的有用功能。通過這套精心設(shè)計(jì)的框架，應(yīng)用開發(fā)者可以充分利用設(shè)備端模型?！碧O果表示。

據(jù)了解，這套框架的一大亮點(diǎn)在于，其原生支持 Swift 語言，開發(fā)者只需短短三行代碼，即可輕松接入 Apple Intelligence 模型?？蚣軆?nèi)置引導(dǎo)式生成、工具調(diào)用等功能，使在現(xiàn)有應(yīng)用中集成生成能力變得前所未有的簡單。

例如，Automattic 公司正在其 Day One 日記應(yīng)用中使用該框架，為用戶帶來以隱私為核心的智能功能。 “基座模型框架幫助我們重新思考日記應(yīng)用的可能性，”Automattic 旗下 Day One 負(fù)責(zé)人 Paul Mayne 表示，“現(xiàn)在我們能夠以深度尊重用戶的方式，將智能與隱私結(jié)合在一起?！?/p>

而且，該框架的工具調(diào)用方法建立在引導(dǎo)式生成的基礎(chǔ)之上。開發(fā)者只需要提供簡單的 Tool Swift 協(xié)議實(shí)現(xiàn)，框架就會自動以最佳方式處理并行及串行工具調(diào)用中的復(fù)雜調(diào)用圖。而基于工具使用數(shù)據(jù)對模型進(jìn)行后訓(xùn)練，蘋果的模型在此框架下的功能可靠性也得到了提升。蘋果稱，工具調(diào)用功能使得開發(fā)者能夠創(chuàng)建為模型提供特定類型信息源或服務(wù)的工具，借此實(shí)現(xiàn)對 3B 模型的功能定制。

目前，該基座模型框架正通過 Apple Developer Program 進(jìn)行測試，公開測試版將于下月初提供。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“蘋果超Qwen 2.5：三行代碼接入AI推理”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！