哈嘍！伙伴們，我是小智，你們的AI向?qū)?。歡迎來到每日的AI學(xué)習(xí)時間。今天，我們將一起深入AI的奇妙世界，探索“AI配音GPT-SoVITS指南-使用教程1”，并學(xué)會本篇文章中所講的全部知識點(diǎn)。還是那句話“不必遠(yuǎn)征未知，只需喚醒你的潛能！”跟著小智的步伐，我們終將學(xué)有所成，學(xué)以致用，并發(fā)現(xiàn)自身的更多可能性。話不多說，現(xiàn)在就讓我們開始這場激發(fā)潛能的AI學(xué)習(xí)之旅吧。

AI配音GPT-SoVITS指南-使用教程1：

數(shù)據(jù)集處理：高質(zhì)量數(shù)據(jù)集是關(guān)鍵

請認(rèn)真準(zhǔn)備數(shù)據(jù)集！好的數(shù)據(jù)集是訓(xùn)練出好模型的基礎(chǔ)！

使用 UVR5 處理原音頻（如果原音頻足夠干凈可以跳過）

方法1：使用自帶的 UVR5 處理音頻

點(diǎn)擊“開啟 UVR5-WebUI”，稍加等待就會自動彈出網(wǎng)頁，如果沒有彈出，復(fù)制 http://0.0.0.0:9873 到瀏覽器打開。

首先輸入音頻文件夾路徑或者直接選擇文件（二選一）。文件夾上面那個地址框就是文件夾路徑，復(fù)制即可。

如果要復(fù)制文件路徑，需要先點(diǎn)一下文件，然后按住 Shift 并右鍵，選擇“復(fù)制文件路徑”。

先用 model_bs_roformer_ep_317_sdr_12.9755 模型處理一遍（提取人聲），然后將輸出的干聲音頻再用 onnx_dereverb 最后用 DeEcho-Aggressive（去混響），輸出格式選 wav。輸出的文件默認(rèn)在 GPT-SoVITS-betaoutputuvr5_opt 這個文件夾下，建議不要改輸出路徑。處理完的音頻（vocal）的是人聲，(instrument) 是伴奏，(_vocal_main_vocal) 的沒混響的，（others）的是混響。(vocal) 和 (_vocal_main_vocal) 才是要用的文件，其他都可以刪除。結(jié)束后記得在 WebUI 關(guān)閉 UVR5 節(jié)省顯存。

更詳細(xì)教程：

比如說這里我準(zhǔn)備了兩段素材，點(diǎn)擊一下目錄，這就是路徑名了，復(fù)制一下。

粘貼到輸入路徑里，下拉選擇model_bs_roformer_ep_317_sdr_12.9755模型，然后點(diǎn)擊轉(zhuǎn)換，稍等片刻輸出信息就會顯示xxxx->Success。

在狀態(tài)欄點(diǎn)擊可以打開bat控制臺，在這可以查看進(jìn)度。

然后打開GPT-SoVITS整合包文件夾的output文件夾。

打開uvr5_opt文件夾。

這里會有輸入文件數(shù)兩倍的文件，其中instrumental文件是不需要的，都必須刪掉，否則會影響最終效果。再新建一個文件夾把這兩個文件移過去。

然后輸入路徑改成上面那個新建文件夾，下拉選擇onnx_dereverb_By_FoxJoy模型，點(diǎn)擊轉(zhuǎn)換。然后要等待比較長一段時間。同樣可以在bat控制臺看進(jìn)度，如果等待的時間實(shí)在太長可以跳過這個模型，影響不大。輸入的文件還是在uvr5_opt文件夾，其中others是不需要的，刪掉。上一步的vocal也不需要了可以刪掉。再新建一個文件夾把_vocal_main_vocal這兩個文件移過去。

然后輸入路徑改成上面那個新建文件夾，下拉選擇VR-DeEchoAggressive模型（如果混響很重選DeReverb，比較輕選Normal，中間選Aggressive），點(diǎn)擊轉(zhuǎn)換。稍微等待一段時間，再打開uvr5_opt文件夾，把instrument開頭的刪掉就好了。

方法2：使用 UVR5 客戶端（沒有 bug，模型更多）

官方下載地址：https://github.com/TRvlvr/model_repo/releases（beta版）

https://github.com/Anjok07/ultimatevocalremovergui/releases（正式版）

網(wǎng)盤下載（包含Windows和macOS）：https://www.123pan.com/s/UHp9-9fi8H.html

macOS和Liunx的使用方法

由于蘋果的嚴(yán)格管控應(yīng)用程序的安全性，您可能需要按照以下步驟打開UVR：首先，使用終端運(yùn)行以下命令，允許應(yīng)用程序從所有來源運(yùn)行：

sudo spctl –master-disable。

其次，運(yùn)行以下命令來繞過驗(yàn)證：

sudo xattr -rd com.apple.quarantine /Applications/Ultimate Vocal Remover.app

Linux：嗯？都用Linux了，用Git拉代碼自己部署不是難事吧？

為了最好的分離效果教程中使用的是beta版，網(wǎng)盤中的windows安裝包是beta版。

目前MAC使用beta版要自己拉代碼裝環(huán)境，或者等安裝包制作完成。

網(wǎng)盤中的安裝包是正式版的。

警告：安裝路徑必須為全英文?。?！不推薦修改默認(rèn)安裝路徑，否則會有權(quán)限問題！

詳細(xì)教程：https://www.bilibili.com/read/cv27499700/ 作者@bilibili@bfloat16

打開UVR5首先要下載模型，建議下載我打包好的，里面有幾乎所有模型，包含vip模型。下載解壓后先把Ultimate Vocal Remover根目錄的models文件夾刪了，再把解壓的文件夾直接拖進(jìn)Ultimate Vocal Remover根目錄替換models文件夾。

模型包：https://www.123pan.com/s/UHp9-Qfi8H.html（下載精簡版就好，里面有要用到的模型了。完整版是UVR5的所有模型，可能以后會用到）語雀直接下載

如果覺得模型包太大，也可以自己下載（需要科學(xué)上網(wǎng)，且速度很慢，一次只能下一個）。點(diǎn)擊左下角的小扳手，打開設(shè)置界面，點(diǎn)擊第三個下載模型。

需要下載的模型有：
MDX-Net：model_bs_roformer_ep_317_sdr_12.9755。
VR Architecture：UVR-De-Echo-Normal、UVR-De-Echo-Aggressive、UVR-De-Echo-Dereverb、UVR-DeNoise。

如果是A卡或I卡用戶需要在第二個設(shè)置界面點(diǎn)上Use OpenCL。

下載完模型后開始處理音頻，select input選擇輸入文件，select output選擇輸出文件夾，輸出格式選WAV，記得點(diǎn)上GPU Conversion（使用GPU），首先選擇MDX-Net類型使用Bs-Roformer-Viperx-1297（目前最好的提取人聲的模型，又快又好）提取人聲。處理完的音頻（vocals）的是人聲。然后把人聲再輸入去混響（下面三選一）：VR Architecture：UVR-De-Echo-Normal（輕度混響）、UVR-De-Echo-Aggressive（重度混響）、UVR-De-Echo-Dereverb（變態(tài)混響），最后用UVR-DeNoise降噪一下。這套流程弄完會比自帶的UVR5在人聲提取方面好一點(diǎn)。

方法 3：MDX23C（MAC 用戶暫時使用）

因?yàn)槟壳癕AC沒有UVR5beta版的安裝包，要么拉代碼自己裝，要么只能用5.6正式版。
正式版目前最好的模型是MDX23C，流程和4.1.1.1.3.1一樣的只是把Bs-Roformer-Viperx-1297換成MDX23C。

切割音頻：準(zhǔn)備訓(xùn)練數(shù)據(jù)

在切割音頻前，建議把所有音頻拖進(jìn)音頻軟件（如 AU、剪映）調(diào)整音量，最大音量調(diào)整至 -9dB 到 -6dB，過高的刪除。

首先輸入原音頻的文件夾路徑（不要有中文），如果剛剛經(jīng)過了 UVR5 處理，那么就是 uvr5_opt 這個文件夾。然后建議可以調(diào)整的參數(shù)有 min_length、min_interval 和 max_sil_kept，單位都是 ms。min_length 根據(jù)顯存大小調(diào)整，顯存越小調(diào)越小。min_interval 根據(jù)音頻的平均間隔調(diào)整，如果音頻太密集可以適當(dāng)調(diào)低。max_sil_kept 會影響句子的連貫性，不同音頻不同調(diào)整，不會調(diào)的話保持默認(rèn)。其他參數(shù)不建議調(diào)整。點(diǎn)擊“開啟語音切割”，馬上就切割好了。默認(rèn)輸出路徑在 output/slicer_opt。當(dāng)然也可以使用其他切分工具切分。

切分完后文件在 outputslicer_opt。打開切分文件夾，排序方式選大小，將時長超過“顯存數(shù)”秒的音頻手動切分至“顯存數(shù)”秒以下。比如顯卡是 4090，顯存是 24g，那么就要將超過 24 秒的音頻手動切分至 24s 以下，音頻時長太長的會爆顯存。如果語音切割后還是一個文件，那是因?yàn)橐纛l太密集了?？梢哉{(diào)低 min_interval，從 300 調(diào)到 100 基本能解決這問題。實(shí)在不行用 AU 手動切分。

音頻降噪（如果原音頻足夠干凈可以跳過）

如果你覺得你的音頻足夠清晰可以跳過這步，降噪對音質(zhì)的破壞挺大的，謹(jǐn)慎使用。

輸入剛才切割完音頻的文件夾，默認(rèn)是 output/slicer_opt 文件夾。然后點(diǎn)擊“開啟語音降噪”。默認(rèn)輸出路徑在 output/denoise_opt。

打標(biāo)：為音頻添加文本標(biāo)注

為什么要打標(biāo)：打標(biāo)就是給每個音頻配上文字，這樣才能讓 AI 學(xué)習(xí)到每個字該怎么讀。這里的標(biāo)指的是標(biāo)注。

如果你上一步切分了或者降噪了，那么已經(jīng)自動幫你填充好路徑了。然后選擇“達(dá)摩 ASR”或者“fast whisper”。達(dá)摩 ASR 只能用于識別漢語和粵語，效果也最好?！癴ast whisper”可以標(biāo)注 99 種語言，是目前最好的英語和日語識別，模型尺寸選 large V3，語種選 auto 自動。Whisper 可以選擇精度，建議選 float16，float16 比 float32 快，int8 速度幾乎和 float16 一樣。然后點(diǎn)“開啟離線批量 ASR”就好了，默認(rèn)輸出是 output/asr_opt 這個路徑。ASR 需要一些時間，看著控制臺有沒有報錯就好了。

如果有字幕的可以用字幕標(biāo)注，準(zhǔn)確多了。內(nèi)嵌字幕或者外掛字幕都可以。

校對標(biāo)注（比較費(fèi)時間，不追求極致效果可以跳過）

上一步打標(biāo)完會自動填寫list路徑，你只需要點(diǎn)擊“開啟打標(biāo)webui”。

打開后就是 SubFix，從左往右從上到下依次意思是：跳轉(zhuǎn)頁碼、保存修改、合并音頻、刪除音頻、上一頁、下一頁、分割音頻、保存文件、反向選擇。每一頁修改完都要點(diǎn)一下“保存修改 (Submit Text)”，如果沒保存就翻頁那么會重置文本，在完成退出前要點(diǎn)“保存文件 (Save File)”，做任何其他操作前最好先點(diǎn)一下“保存修改 (Submit Text)”。合并音頻和分割音頻不建議使用，精度非常差，一堆 bug。刪除音頻先要點(diǎn)擊要刪除的音頻右邊的 yes，再點(diǎn)“刪除音頻 (Delete Audio)”。刪除完后文件夾中的音頻不會刪除但標(biāo)注已經(jīng)刪除了，不會加入訓(xùn)練集的。這個 SubFix 一堆 bug，任何操作前都多點(diǎn)兩下保存。

嘿，伙伴們，今天我們的AI探索之旅已經(jīng)圓滿結(jié)束。關(guān)于“AI配音GPT-SoVITS指南-使用教程1”的內(nèi)容已經(jīng)分享給大家了。感謝你們的陪伴，希望這次旅程讓你對AI能夠更了解、更喜歡。謹(jǐn)記，精準(zhǔn)提問是解鎖AI潛能的鑰匙哦！如果有小伙伴想要了解學(xué)習(xí)更多的AI知識，請關(guān)注我們的官網(wǎng)“AI智研社”，保證讓你收獲滿滿呦！