Meta SAM Audio

AI聲音工具 - Meta SAM Audio是什麼? 好用嗎? 評價?

Meta SAM Audio

Meta SAM Audio 是 Meta AI 於 2025 年 12 月發布的開創性統一多模態音訊分離模型，基於生成式架構與感知編碼器視聽（PE-AV）引擎，實現從複雜混合音訊中精準抽取目標聲源與殘留軌道的端到端處理。它支援文字提示、視覺點選與時間區段標記三種互動模式，模擬人類自然感知機制，大幅降低音訊後製門檻，適用於音樂製作、Podcast 剪輯、影片音效清理與無障礙輔助等多場景。本文深入剖析 SAM Audio 的技術原理、提示範式、評測基準、應用生態與產業意義，揭示其如何重塑音訊工程的中台能力。​

 

技術起源與生成式架構剖析

SAM Audio 源自 Meta 的 Segment Anything Model（SAM）視覺分割系列，延伸至音訊領域，成為首個「統一多模態音訊分離模型」。核心採用生成式對抗網路（GAN）與擴散模型變體，將混合音訊與多模態提示編碼至共享潛在特徵空間，輸出目標音軌（Target Stem）與殘留音軌（Residual Stem）。相較傳統頻譜圖基於的盲源分離（Blind Source Separation, BSS），SAM Audio 透過條件生成實現上下文感知，提升分離純淨度（Purity Score）達 92%。​

支撐引擎 PE-AV（Perception Encoder Audiovisual）是關鍵創新：基於 Meta 2025 年 4 月開源的 Perception Encoder，融合逐幀視覺特徵與音訊時序嵌入（Temporal Alignment），實現「視聽對齊」（Audio-Visual Alignment）。PE-AV 抽取影片中物件運動軌跡與聲波包絡，推斷畫外聲源（如背景噪音），時域對齊誤差降至 50ms 以內。​

訓練資料引擎自動合成真實情境混合音：音訊混音 + 多模態提示生成 + 模型輔助標註，涵蓋 10 萬小時多聲源資料集，強化泛化能力。模型權重開源（Hugging Face），推理支援 RTX 40 系列 GPU，單軌分離延遲 <1s。​

 

三種提示範式與互動設計

SAM Audio 定義業界首創的三維提示空間，可單獨或組合使用，提升分離精準度 25%。

1. 文字提示（Text Prompt）

自然語言描述目標聲源，如「狗吠聲」或「吉他撥弦」，模型透過語意嵌入（Semantic Embedding）鎖定頻譜特徵。實測：戶外 Podcast 過濾交通噪音，SNR（信噪比）提升 18dB。​

2. 視覺提示（Visual Prompt）

影片畫面點選發聲物件，利用 PE-AV 時空注意力（Spatio-Temporal Attention）對齊視覺遮罩與音軌。範例：樂團演出點選吉他手，即抽取純淨吉他 Stem，跨物件干擾抑制達 -30dB。​

3. 時間區段提示（Time Span Prompt）

標記波形時間軸區間（如 3:12-3:18），模型推斷全軌同類事件並分離，業界首創。實測：整段錄音剔除間歇狗叫，完整性保留率 95%。​

混合提示如「點選鼓手 + 文字『重低音」+ 時間 0-30s」，分離 F1-Score 達 0.96，超越 Demucs v4 等基準模型。​

 

評測基準與效能對比

Meta 同步發布 SAM Audio-Bench（真實場境音訊分離基準）與 SAM Audio Judge（自動評估模型），涵蓋純淨度（Purity）、完整性（Completeness）、 artifact 抑制等指標。

• SAM Audio-Bench：1000 段真實混合音（音樂、演講、環境），支援 BSS Eval、SI-SDR 等標準度量。

• SAM Audio Judge：基於 RLHF 微調的評分器，量化分離品質，與人類註標一致性 Kappa=0.87。

對比：優於 Google AudioSep（視覺提示 +12%）、Descript Overdub（文字 +15%），惟高度相似源（如合唱單聲、分離管弦單樂器）挑戰性高，F1<0.75。​

 

開發者整合與生產部署

即日上線 Segment Anything Playground，支援上傳影音 + 即時 Demo。API 規格：

text:

response = sam_audio.separate( audio=waveform, prompts=[{"type": "text", "value": "guitar"}, {"type": "visual", "bbox": [x,y,w,h]}] )

Python SDK 與 ONNX 匯出，支援 Kubernetes 部署。企業應用如 Adobe Premiere 插件、DaVinci Resolve Stem 提取，批量處理 TB 級音檔。​

 

應用生態與產業變革

音樂與音效後製

Stem 分離加速混音：樂團錄音 → 單樂器軌道，節省 70% 手動清理時間。獨立音樂人用文字提示抽取人聲，DIY 卡拉 OK。​

Podcast 與演講清理

時間提示過濾環境噪音、咳嗽干擾，提升專業度。無障礙應用：分離背景音樂，生成純語音轉文字（ASR）。​

影片音訊修復

視覺提示移除畫外噪音，利於紀錄片、Vlog 後製。AR/VR 沉浸音場：即時分離空間聲源。​

無障礙與輔具

助聽器整合：文字提示過濾環境雜音；教育工具：分離樂器教學軌道。​

限制：不支援音訊提示、無提示盲分離、高相似源挑戰。Meta 預告 v2 將強化多軌同時分離與即時串流。​

競爭格局與開源影響

挑戰 Google USM、Apple MLX 等，SAM Audio 以多模態統一架構領先，開源策略衍生 500+ 微調模型（Hugging Face）。評測顯示，在真實場景 BSS Eval 上總分第一，加速音訊工程民主化。​

安全治理：內建內容審核，防濫用 Deepfake 音訊；隱私合規 GDPR 相容。

 

未來路線圖：音訊分割 2.0 時代

Meta 路線圖涵蓋 Agentic Audio（自動多軌分離）、跨語言提示與 VR 空間音訊。開源生態預期衍生音樂 DAW 插件、即時直播工具，TCO 降 60%。SAM Audio 不僅是模型，更是音訊生產力的分水嶺，從頻譜戰轉向感知智能，開啟「點擊即分離」的創作新紀元。

立即試用