Google DeepMind 最新發佈的 Genie 4 是新一代可互動的世界模型(World Model),主打高真實度的即時動態模擬與原生多模態音效生成。
Genie 4 結合了 Gemini 系列模型的技術優勢,利用 Gemini Omni 奠定現實世界的視覺外觀與物理行為,並透過其他 Gemini 模型提供複雜推理能力,以維持模擬過程中的連貫性與空間一致性。使用者只需透過文字提示(Text Prompts)或圖像,配合標準鍵盤與滑鼠操作,即可即時探索、導航並改變所生成的世界。
即時自然語言控制(Real-Time Steering)使用者可在探索環境時,隨時透過自然語言輸入指令,動態調整場景內容。例如變更天氣(如從晴天切換為雪景)、移動鏡頭視角、加入新角色或引發新事件,系統會即時運算並調整後續畫面。
原生音效與互動對話生成(Native Audio & Dialogue)Genie 4 具備原生音效生成能力,不僅能隨場景即時產生環境音(如風聲、浪潮聲、背景音樂),還引入了動態互動對話。場景中的角色能根據使用者的操作或環境事件,做出即時反應並進行自然對話。
高真實度物理與人物模擬模型在物理碰撞、布料運動、流體表現(如水流)以及生物與人物運動自然度上取得大幅突破。無論是繁忙火車站內的人流流動,還是具備空氣動力學特性的物體移動,均展現出極高的物理可信度與空間連續性。
靈活的風格與視覺建立除了寫實攝影風格外,Genie 4 亦支援藝術與虛擬風格的即時 3D 環境構建,例如生成可供鏡頭穿梭探索的立體彩色玻璃世界或特定藝術風格場景。
具身智能與機器人訓練:提供無風險且具備無限變化可能性的虛擬物理環境,加速 AI Agent 與機器人的學習過程。
遊戲開發與互動娛樂:作為下一代遊戲引擎的雛形,實現完全由 AI 即時生成的動態開放世界與 NPC 互動體驗。
影視與創意視覺前期製作:幫助導演與美術設計師快速進行概念分鏡、場景探索與動態視覺預覽(Previsualization)。
目前 Genie 4 已開始向部分獲邀的測試者開放,後續規劃提供給 Project Genie 中的 Google AI Ultra 訂閱使用者,以及 Gemini API 和 Google AI Studio 的早期存取夥伴進行體驗。生成的影片與音效內容均已整合 SynthID 數位水印技術以確保安全規範。