哈嘍！伙伴們，我是小智，你們的AI向?qū)Аg迎來到每日的AI學(xué)習(xí)時(shí)間。今天，我們將一起深入AI的奇妙世界，探索“可靈2.0號(hào)稱超越OpenAI谷歌，視覺生成技術(shù)全解析”，并學(xué)會(huì)本篇文章中所講的全部知識(shí)點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場(chǎng)激發(fā)潛能的AI學(xué)習(xí)之旅吧。

可靈2.0號(hào)稱超越OpenAI谷歌，視覺生成技術(shù)全解析：

剛剛，可靈 AI 面向全球正式發(fā)布可靈 2.0 視頻生成模型及可圖 2.0 圖像生成模型。即日起，可靈 2.0 和可圖 2.0 在全球范圍上線。

“這是你能用到的，世界上最強(qiáng)大的視覺生成模型?！笨焓指呒?jí)副總裁、社區(qū)科學(xué)線負(fù)責(zé)人蓋坤說道。

根據(jù)對(duì)比測(cè)試，可靈 2.0 文生視頻大模型與 Veo2 的勝負(fù)比為 205%，與 Sora 的勝負(fù)比為 367%（如果兩模型勝負(fù)比為 100%，說明兩者水平相當(dāng)）?？伸` 2.0 圖生視頻大模型與 Veo2 的勝負(fù)比為 182%，與 Gen-4 的勝負(fù)比為 178%。

另外，可圖 2.0 文生圖大模型，與 Midjourney v7 的勝負(fù)比為 301%，與 Reve 的勝負(fù)比為 193%，與 Flux 1.1 Pro 版本的勝負(fù)比為 152%。

可靈 2.0 生成效果如何？
快手副總裁、可靈 AI 負(fù)責(zé)人張迪介紹，現(xiàn)在的視頻 AI 生成技術(shù)還遠(yuǎn)遠(yuǎn)不夠，目前創(chuàng)作者們會(huì)遇到兩類問題：一類是語義遵循能力在部分情況下能力不夠，妨礙了創(chuàng)作者們用文字精準(zhǔn)表達(dá)、控制生成結(jié)果；二是動(dòng)態(tài)質(zhì)量問題，包括大家所常說的運(yùn)動(dòng)崩壞或者不符合物理規(guī)律。

為此，可靈 2.0 視頻生成模型在語義響應(yīng)、畫面質(zhì)量、動(dòng)態(tài)質(zhì)量、真實(shí)度和美感上都有大幅提升。

語義響應(yīng)

“一個(gè)視頻生成模型的語義響應(yīng)，已經(jīng)不能用簡單的文本響應(yīng)來看了，我們希望它有更強(qiáng)的動(dòng)作響應(yīng)能力，有更強(qiáng)的運(yùn)鏡響應(yīng)能力，有更強(qiáng)的時(shí)序響應(yīng)能力?！睆埖险f道。

可靈 2.0 完善了 1.6 版本中的表情的動(dòng)作描述和肢體的動(dòng)作描述的細(xì)節(jié)錯(cuò)誤：

時(shí)序響應(yīng)指的是在同一個(gè) prompt 里面，按照時(shí)間順序進(jìn)行分段描述，模型需要按照嚴(yán)格的時(shí)間順序進(jìn)行展示?？伸` 2.0 在背景延時(shí)攝影的完成度都很高：

除了基礎(chǔ)運(yùn)鏡，可靈 2.0 可以直接用提示詞激活環(huán)繞運(yùn)鏡、跟隨運(yùn)鏡、鏡頭組合運(yùn)鏡等方式：

動(dòng)態(tài)質(zhì)量

可靈 2.0 重點(diǎn)優(yōu)化了歷史版本中可能出現(xiàn)慢動(dòng)作的問題，對(duì)于運(yùn)動(dòng)速度的把握更加精準(zhǔn)：

更合理的運(yùn)動(dòng)幅度使得整個(gè)畫面的表現(xiàn)張力更好、更有沖擊力：

美學(xué)優(yōu)化

在美學(xué)優(yōu)化方面，可靈 2.0 可以生成更具電影大片質(zhì)感的鏡頭，同時(shí)讓每一個(gè)鏡頭的細(xì)節(jié)表達(dá)更加豐富：

可靈 2.0 在一些細(xì)節(jié)上的優(yōu)化：

對(duì)于可靈 2.0 的生成效果，網(wǎng)友們也給出了很高評(píng)價(jià)。

”AI 視頻的質(zhì)量一夜之間提升了 10 倍，我已經(jīng)無話可說了。Kling 2.0 剛剛發(fā)布，我已經(jīng)花掉了 1250 美元的額度來測(cè)試它的極限。我從沒見過這么流暢的動(dòng)態(tài)效果，也從沒見過對(duì)提示詞的理解這么準(zhǔn)確的模型。”PJ Ace 說道。

“相信我，這次模型升級(jí)絕對(duì)驚艷！現(xiàn)在你可以生成的動(dòng)態(tài)動(dòng)作數(shù)量達(dá)到了新的高度。如果您想讓動(dòng)作更快速，新模型在這方面完全勝任，動(dòng)作看起來非常自然流暢。”網(wǎng)友 Travis Davids 說道。

一系列技術(shù)創(chuàng)新細(xì)節(jié)披露
“所有的這些能力提升，都離不開整個(gè)團(tuán)隊(duì)背后的大量的技術(shù)創(chuàng)新?！睆埖辖榻B，可靈 2.0 在基礎(chǔ)模型架構(gòu)和訓(xùn)練和推理策略上進(jìn)行了全新的升級(jí)，這些工作使其打開了建模和仿真的能力空間。

可靈整體框架采用了類 Sora 的 DiT 結(jié)構(gòu)，用 Transformer 代替了傳統(tǒng)擴(kuò)散模型中基于卷積網(wǎng)絡(luò)的 U-Net。具體來說，可靈 2.0 在基礎(chǔ)模型上的架構(gòu)升級(jí)包括：

? 全新設(shè)計(jì)的 DiT 架構(gòu)，提升視覺 / 文本模態(tài)信息融合能力。
? 全新設(shè)計(jì)的 VAE，使復(fù)雜動(dòng)態(tài)場(chǎng)景下過渡更順暢、質(zhì)感更自然。
? 首次系統(tǒng)性研究了視頻生成 DIT 架構(gòu)的 Scaling Law 特性。

為解鎖更強(qiáng)的指令響應(yīng)和運(yùn)動(dòng)表現(xiàn)，可靈 2.0 采用了以下訓(xùn)練和推理策略：

? 強(qiáng)化對(duì)于復(fù)雜運(yùn)動(dòng)、主體交互的生成能力提升視頻表現(xiàn)張力。
? 強(qiáng)化對(duì)運(yùn)鏡語言、構(gòu)圖術(shù)語等專業(yè)表達(dá)的理解和響應(yīng)能力。
? 人類偏好對(duì)齊技術(shù)，讓模型更懂”常識(shí)”和“審美”。

據(jù)張迪透露，在可靈 AI 平臺(tái)上，85% 的視頻創(chuàng)作是通過圖生視頻完成的，這一方面說明了圖生視頻可以更好地表達(dá)用戶的創(chuàng)作意圖，另一方面也彰顯了圖片賦予整個(gè)視覺創(chuàng)作流的重要性。

此次升級(jí)的可圖 2.0 模型，在指令遵循、電影質(zhì)感及藝術(shù)風(fēng)格表現(xiàn)等方面作了顯著提升。 在風(fēng)格化響應(yīng)上，可圖 2.0 支持 60 多種風(fēng)格化的效果轉(zhuǎn)繪，包括受大家喜愛的 GPT 風(fēng)格、二次元風(fēng)格、插畫風(fēng)格、數(shù)字世界、3D 等，模型出圖創(chuàng)意和想象力實(shí)現(xiàn)因此大幅躍升。

而在可圖 2.0 背后，同樣暗含許多技術(shù)創(chuàng)新。張迪介紹稱，快手團(tuán)隊(duì)在預(yù)訓(xùn)練階段，通過精準(zhǔn)建模預(yù)訓(xùn)練文本到視覺表征的映射，使得文本和圖像的對(duì)齊做得更好；在后訓(xùn)練階段，該模型更多地使用了強(qiáng)化學(xué)習(xí)技術(shù)來提升美感、對(duì)齊人類審美，并大量探索了后訓(xùn)練階段的 Scaling Law；在推理階段，大量使用了全新的提示詞工程和推理策略，提升了出圖的穩(wěn)定性和創(chuàng)造性。

視頻和圖像都能放進(jìn) prompt 了
“文字作為人去描述自己想象中的世界的媒介是不完備的，需要定義一個(gè)人和 AI 交互的新的語言，讓人的想象能夠被 AI 完全感知到?！鄙w坤說道。

在一些場(chǎng)景里，文字很難準(zhǔn)確描述出視頻內(nèi)容，比如復(fù)雜的武打畫面，即使用很大篇幅的文字也難以準(zhǔn)確描述。

為此，快手還在可靈 2.0 大師版上線了全新的多模態(tài)編輯功能，能靈活理解用戶意圖，支持對(duì)視頻和圖像內(nèi)容實(shí)現(xiàn)增、刪、改元素。

具體可以看到，多模態(tài)編輯器中，可以將多模態(tài)的表達(dá)放進(jìn)提示詞中，以實(shí)現(xiàn)更準(zhǔn)備的修改。

此外，圖像多模態(tài)編輯具有風(fēng)格重繪的能力，能夠?qū)D片可進(jìn)行不同風(fēng)格的重繪，且保持原圖片的語義。

在本次 2.0 模型迭代中，可靈 AI 正式提出了 AI 視頻生成的全新交互理念 Multi-modal Visual Language（MVL），即將語義骨架（TXT）和多模態(tài)描述子（MMW）結(jié)合，讓用戶能夠結(jié)合圖像參考、視頻片段等多模態(tài)信息，將腦海中的多維度復(fù)雜創(chuàng)意，直接高效地傳達(dá)給 AI。此次發(fā)布的多模態(tài)視頻編輯功能，正是基于 MVL 的思想所研發(fā)。

張迪介紹稱，多模態(tài)編輯功能背后是一整套多模態(tài)控制技術(shù)，快手目前在這方面迎來了很大的突破，包括以下三個(gè)方面：

? 把文本模態(tài)、圖像模態(tài)和視覺模態(tài)進(jìn)行了統(tǒng)一表征，并使用超長的上下文進(jìn)行訓(xùn)練；
? 通過高效的 Token 壓縮與緩存算法，可以支持長序列的訓(xùn)練和推理；
? 在推理環(huán)節(jié)，使用了帶有 CoT 的多模態(tài)推理能力技術(shù)來理解用戶輸入的多模態(tài)信息。

結(jié)語
截至目前，可靈 AI 全球用戶規(guī)模突破 2200 萬，過去的 10 個(gè)月里，其月活用戶量增長 25 倍，累計(jì)生成超過 1.68 億個(gè)視頻及 3.44 億張圖片。

張迪表示，在發(fā)布之初，快手便深知視頻生成技術(shù)賽道是一個(gè)長跑，為此可靈 AI 自發(fā)布后就進(jìn)入了奪命狂奔模式，過去 10 個(gè)月時(shí)間里已經(jīng)歷了 20 多次的產(chǎn)品迭代，發(fā)布了 9 個(gè)有里程碑意義的產(chǎn)品?？伸` 1.0 于去年 6 月發(fā)布，是全球首個(gè)用戶真實(shí)可用的 DIT 架構(gòu)的視頻政策大模型。

對(duì)于這一次的更新，可靈 AI 團(tuán)隊(duì)給出了這樣的評(píng)價(jià)：“我們可以當(dāng)之無愧的說，可靈 2.0 文生視頻模型是一個(gè)全球大幅領(lǐng)先的視頻模型。”

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“可靈2.0號(hào)稱超越OpenAI谷歌，視覺生成技術(shù)全解析”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對(duì)AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識(shí)，請(qǐng)關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！