雲端智能創新前沿的代表之一,Hunyuan Avatar AI是一款由騰訊混元團隊開發的先進多模態音頻驅動虛擬人動畫生成模型。它能以單張圖片和一段音頻作為輸入,在約14秒內生成720p分辨率的高清說話視頻,支持多角色同屏、情緒遷移以及高度一致的角色表情,令數位人形象逼真生動。
該模型基於創新的多模態擴散變換器(MM-DiT)架構,具備三大核心技術突破:角色圖像注入模組解決了訓練與推理條件不匹配問題,確保角色表情和面貌高度一致;音頻情緒模組(AEM)能精準提取音頻中情緒信息,有效驅動喜怒哀樂等微妙表情變化;人臉感知音頻適配器(FAA)支持多角色音軌獨立輸入,使多角色對話動畫流暢自然。
Hunyuan Avatar的應用範圍涵蓋短視頻製作、電商直播、社交媒體內容創作和教育培訓等多領域。其高動態背景保真技術能同時保持背景細節的自然流動,如海浪和煙火,提升視覺豐富度。而且FP8量化推理優化讓模型可以在單個10GB左右的GPU上高效運行,對硬體需求友好,極大降低了數位人視頻生成的技術門檻。
除了具備強大的技術和性能,Hunyuan Avatar還全面開源,無論是模型權重還是腳本均可自由使用,為開發者與創作者提供了極大便利。用戶可輕鬆通過簡單步驟安裝並使用這一工具,快速生成個性化虛擬人視頻,抓住AI視頻內容創作的時代紅利。
總體來說,Hunyuan Avatar AI以其情緒豐富、角色一致性高、多角色音頻支持強大的特點,重新定義了數位人動畫生成的可能性,使普通用戶和專業團隊都能低成本、高質量地創造生動逼真的虛擬形象,是當前AI數位人技術領域的重要突破與應用典範。