Google 推出視覺語言模型 PaliGemma 2 Mix

AI資訊

Google 推出視覺語言模型 PaliGemma 2 Mix

Google 近期推出了全新的視覺語言模型 PaliGemma 2 Mix，該模型在多任務處理能力上取得了顯著突破，整合了圖像描述、光學字符識別 (OCR)、圖像問答、目標檢測和圖像分割等多種功能，為開發者和研究人員提供了一個功能強大且易於使用的工具。

PaliGemma 2 Mix：多功能整合，效能再升級

PaliGemma 2 Mix 作為 Gemma 家族的升級版，不僅延續了前代模型的優勢，更在多模態處理能力上有了顯著提升。它能夠同時理解視覺信息和文本輸入，並根據需求生成相應的輸出，展現了其在處理複雜任務方面的能力。

此模型提供 3B、10B 和 28B 三種不同規模的預訓練檢查點 (checkpoints)，以及 224px 和 448px 兩種分辨率選擇，讓開發者可以根據自身需求選擇最合適的版本。同時，PaliGemma 2 Mix 支援 Hugging Face Transformers、Keras、PyTorch、JAX 和 Gemma.cpp 等主流框架，方便開發者使用和微調，實現「開箱即用」的便捷性。

核心技術與應用場景

PaliGemma 2 Mix 結合了 SigLIP 圖像編碼器和 Gemma-2B 語言模型，並透過線性投影層實現圖像與文本特徵的有效融合，進一步提升了模型的多模態理解能力。其主要功能和應用場景包括：

• 圖像描述： 自動生成圖像的詳細描述，適用於社交媒體、內容管理和搜尋引擎優化。
• 光學字符識別 (OCR)： 識別圖像中的文字，可用於文件數位化、歷史文獻存檔和自動數據提取。
• 圖像問答： 回答用戶關於圖像內容的問題，適用於教育和娛樂應用。
• 目標檢測和圖像分割： 精確識別和分割圖像中的目標，可應用於自動駕駛、醫療影像分析等領域。
• 科學問題解答： 理解和回答複雜的科學問題，推動科學研究的進展。
• 文本相關任務： 包括文本檢測、識別、表格結構識別、分子結構識別、樂譜識別等。
• 電商與內容生成： 自動為商品圖片生成描述，提升產品列表的吸引力。

開發者友好，助力研究與應用

Google 提供了 PaliGemma 2 Mix 的預訓練檢查點，開發者可以直接使用這些檢查點進行任務，無需複雜的微調過程。此外，該模型也支援微調，讓開發者可以根據特定需求調整模型，使其更適應特定任務。

PaliGemma 2 Mix 的推出，標誌著 Google 在視覺語言處理領域的又一次重大突破，其多功能性、高性能和開發者友好性，將有助於推動視覺語言任務的進步，並在各個領域的應用中發揮重要作用。

(以上資訊更新於2025年2月23日，隨著技術的快速發展，相關資訊可能會有變動。)