Meta 正式推出 Llama 4 開源模型

AI資訊

Meta 正式推出 Llama 4 開源模型

Meta 正式推出 Llama 4 開源模型

Meta最近正式推出了其最新的開源AI模型系列——Llama 4，這標誌著Meta在開源AI領域的重大進展。Llama 4系列包括多個模型，分別是Llama 4 Scout、Llama 4 Maverick和尚未正式推出的Llama 4 Behemoth。這些模型使用了混合專家（MoE）架構，提供了業界領先的多模態AI能力，支持多種語言和視覺理解。

Llama 4 的主要功能

• 混合專家架構：Llama 4採用混合專家架構，這使得模型能夠在不同的專業領域中選擇最合適的模組來處理任務，提高了效率和準確性。

• 多模態能力：Llama 4支持多模態輸入和輸出，包括文本和圖像，能夠處理多種類型的數據。

• 多語言支持：這些模型支持多種語言，包括阿拉伯語、英語、法語、德語、印地語、印尼語、意大利語、葡萄牙語、西班牙語、他加祿語、泰語和越南語。

• 高效訓練：Llama 4使用FP8精度進行訓練，確保了高效的運算和資源利用，同時保持了模型的質量。

Llama 4 的模型系列

• Llama 4 Scout：這是一個17億參數的模型，具有16個專家，支持最多10百萬個令牌的上下文窗口。它的總參數數量為109億。

• Llama 4 Maverick：這個模型也具有17億活躍參數，但擁有128個專家，總參數數量達到400億。

• Llama 4 Behemoth：這是Llama 4系列中最強大的模型，擁有288億活躍參數和16個專家，總參數數量約為2萬億。目前，Behemoth仍在訓練中。

Llama 4 的應用場景

• 虛擬助手：Llama 4已經被整合到Meta的虛擬助手中，提供了更強大的AI能力，讓用戶可以在WhatsApp、Messenger、Instagram等平台上體驗到AI的便捷。

• 開發者平台：Llama 4的開源性質使得開發者可以輕鬆地在自己的應用中使用這些模型，創建出具有強大AI能力的應用程序。

• 研究與教育：這些模型對於AI研究和教育具有重要價值，能夠幫助學生和研究人員更好地理解和應用AI技術。

結論

Meta的Llama 4系列標誌著開源AI領域的一個重要里程碑。透過其強大的多模態能力和混合專家架構，Llama 4為開發者和研究人員提供了強大的工具，推動AI技術的進一步發展和應用。雖然Llama 4 Behemoth尚未正式推出，但其潛力已經引起了廣泛關注，預計將在未來的AI發展中發揮重要作用。