世界模型構成了一種以安全且樣本高效的方式訓練強化學習代理的有前景的方法。最近的世界模型主要對離散潛在變數序列進行操作來模擬環境動態。然而,這種壓縮為緊湊的離散表示可能會忽略對於強化學習很重要的視覺細節。同時,擴散模型已成為影像生成的主要方法,對離散潛在模型的成熟方法提出了挑戰。受這種範式轉變的推動,引入了 DIAMOND(擴散作為環境夢想的模型),這是一種在擴散世界模型中訓練的強化學習代理。
分析了使擴散適合世界建模所需的關鍵設計選擇,並演示了改進的視覺細節如何提高代理性能。 DIAMOND 在競爭性的 Atari 100k 基準測試中獲得了 1.46 的平均人類標準化分數;對於完全在世界模型中訓練的特工來說,這是一個新的最佳選擇。