local.ai 本地人工智慧

本地人工智慧管理、驗證和推理。私下離線試驗人工智慧。無需 GPU！ - 一個旨在簡化整個過程的本機應用程式。用於本地實驗的開源人工智慧遊樂場。

強大的本機應用程式
local.ai 採用 Rust 後端，記憶體高效且緊湊。（Mac M2、Windows 和 Linux .deb 上 <10MB）

可用功能：

CPU 推理
適應可用線程
GGML 量化 q4、5.1、8、f16
即將推出的功能：

GPU 推理
平行會議

模型管理
在一個集中位置追蹤您的 AI 模型。選擇任意目錄！

可用功能：

可斷點續傳、並發下載器
基於使用情況的排序
與目錄無關
即將推出的功能：

嵌套目錄
自訂排序和搜尋

摘要驗證
透過強大的 BLAKE3 和 SHA256 摘要計算功能確保下載模型的完整性。

可用功能：

摘要計算
已知良好的模型 API
授權和使用晶片
BLAKE3快速檢查
型號資訊卡
即將推出的功能：

模型瀏覽器
型號搜尋
型號推薦

推理伺服器
點擊 2 次即可啟動本機串流伺服器以進行 AI 推理：載入模型，然後啟動伺服器。

可用功能：

串流媒體伺服器
快速推理使用者介面
寫入.mdx
推理參數
遠距詞彙
即將推出的功能：

伺服器管理
/聲音的
/影像