Google DeepMind 新 Genie 2 模型，可以即時產生互動式 3D 環境

AI資訊

Google DeepMind 新 Genie 2 模型，可以即時產生互動式 3D 環境

Google DeepMind 推出的 Genie 2 模型，是 AI 領域的重大突破，它能根據單張圖片即時生成可互動的 3D 環境，為遊戲開發、虛擬世界建構和 AI 訓練等領域帶來革新。Genie 2 不僅能理解圖像內容，還能將其轉化為可操控、可探索的 3D 空間，使用者或 AI 代理可透過鍵盤滑鼠等輸入方式與環境互動。

Genie 2 作為「基礎世界模型」，核心能力是根據單張提示圖像（Imagen 3 生成的圖片或真實照片）生成無限多樣的 3D 環境。這些環境並非靜態畫面，而是具備互動性和動態變化，Genie 2 可以模擬物理效果、光照、重力等，甚至生成角色動畫和 NPC 行為，最長可生成長達一分鐘的連貫世界，多數示例持續 10 到 20 秒。

Genie 2 的主要功能和特性包括：

• 基於單張圖片生成 3D 環境： 輸入一張圖片，Genie 2 就能生成對應主題的 3D 世界，例如輸入森林圖片生成森林場景，輸入城市圖片生成城市環境。
• 即時互動性： 使用者或 AI 代理可透過鍵盤和滑鼠等輸入方式控制角色在 3D 環境中移動、跳躍、游泳等，並與環境中的物體互動。
• 動態模擬： Genie 2 可以模擬各種物理效果，例如水流、煙霧、重力、光照、反射等，使生成的 3D 環境更加逼真。
• 角色動畫和 NPC 行為： Genie 2 可以生成不同類型角色的動畫，並模擬 NPC 的行為，使 3D 環境更加生動。
• 長時間記憶： Genie 2 具備長時間記憶能力，可以記住暫時離開畫面的場景，並在它們重新進入視野時準確還原。

Genie 2 的應用前景廣闊，它可以用於：

• 訓練和評估具身 AI 代理： Genie 2 可以生成無限多樣的 3D 環境，為訓練和評估具身 AI 代理提供理想的測試平台。
• 快速構建遊戲原型： Genie 2 可以快速生成互動式 3D 環境，幫助遊戲開發者快速構建遊戲原型，並在不同環境中進行測試。
• 創意設計和藝術創作： Genie 2 可以將概念藝術或圖紙轉化為完整的互動世界，為藝術家和設計師提供新的創作工具。

然而，Genie 2 也面臨一些挑戰，例如版權和智慧財產權問題，以及訓練數據的來源和使用等。目前，Genie 2 主要作為研究和創意工具使用，DeepMind 並未計劃在短期內公開發布。

(以上資訊更新於2024年12月9日，實際情況可能有所變動，建議以官方資訊為準。)