Microsoft 推出 VibeVoice 文字轉語音模型

AI資訊

Microsoft 推出 VibeVoice 文字轉語音模型

Microsoft於2025年推出了前沿開源的文字轉語音（Text-to-Speech, TTS）模型——VibeVoice，這款技術代表了語音合成領域的新里程碑。VibeVoice專注於生成長篇、多說話人且富有情感表達的自然語音，突破了傳統TTS系統在連貫性、說話人數量及表達豐富性上的限制，適用於播客、有聲書、對話式應用等多種場景，為智能語音合成帶來革命性提升。

---

VibeVoice 模型介紹

VibeVoice結合了大型語言模型（LLM）和擴散模型（Diffusion Model）技術，利用連續語音分詞器以超低帧率（7.5Hz）進行運算，有效保留音頻細節的同時大幅提升運算效率。該模型能夠理解文本的語境和對話流程，精準把握多角色對話情感轉折，並實現超長音頻的自然生成，單次支持長達90分鐘的連續合成，且可模擬最多四位不同說話人。

---

核心技術亮點

• 超長音訊生成能力
  單段語音可達90分鐘，突破了傳統模型對長序列合成的局限，保障語音自然流暢且音色穩定。

• 多說話人支持
  同一段音頻中可自然切換最多4位不同角色聲音，音色鮮明且保持長期一致性，適合對話與劇情演繹。

• 情感豐富的語音表達
  音調節奏情感表達更加細膩，多變語氣讓語音聽起來更人性化，減少機械感。

• 跨語言及歌唱合成初步支持
  該模型主要訓練於中文和英文數據，具備一定的中英互譯語音合能力，還可進行簡單的歌唱語音生成。

• 開源特性與研究友好
  以MIT授權開源，便於學術界和開發人員進行二次開發與實驗，但限制商業用途以防範濫用。

---

適用場景

• 播客與有聲讀物製作
  支持多人角色訪談與故事演繹，提升節目聲音品質與表現力，減少錄製成本。

• 多角色對話模擬
  適用於虛擬助理、客服機器人、教育對話系統中的多說話人場景，自然交互更加流暢。

• 語音合成藝術創作
  可進行情境劇、配音、朗誦及簡易歌唱合成，拓展語音藝術表現形式。

• 跨語言內容生產
  協助多語言市場的自動語音生成，促進內容本地化與全球化。

---

技術架構與運作流程解析

VibeVoice架構核心融合了大型語言模型和聲學及語義兩套連續語音分詞技術，通過擴散頭生成音訊細節，由解碼器還原為高保真音頻。整體流程包含：

1. 輸入文字腳本及每位說話人的聲音樣本。

2. 聲學與語義權杖轉換，分離音質與內容資訊。

3. LLM理解文本上下文，控制對話流程。

4. 擴散模型逐步生成音訊權杖。

5. 解碼還原成最終自然流暢音軌。

---

未來發展與挑戰

儘管VibeVoice在語音表達自然度與多角色合成上取得突破，目前模型在對背景噪聲處理和多語種支持仍有限，且存在避免生成虛假信息的倫理挑戰。微軟強調，模型主要用於研究與開發，鼓勵社群在開源基礎上進一步創新。

未來，VibeVoice或將整合更多語言、更複雜場景及聲音風格，推動語音合成走向更廣泛的商用與多媒體領域，並加強安全保障，確保技術負責任應用。

---

總結來說，Microsoft推出的VibeVoice文字轉語音模型，以其卓越的超長篇多說話人語音合成能力和細膩的情感表達，為語音合成技術帶來了嶄新高度。其開源策略促進科研與應用的共同發展，將深刻影響播客、有聲書及智能對話系統等多個領域的未來走向。