在人工智慧開發領域,傳統的大型語言模型(LLM)往往面臨一個致命痛點:缺乏持久記憶能力(Stateless)。當上下文視窗(Context Window)超出上限,或者對話重新開啟時,AI 就會陷入「健忘症」,無法延續過去的互動經驗。
為了打破這個限制,來自加州大學柏克萊分校(UC Berkeley)Sky Computing Lab(曾誕生 Spark 與 Ray 等重量級開源項目的頂尖實驗室)的團隊發起了開源項目 MemGPT,並在此基礎上創立了 Letta。Letta 的核心願景是建構「能持續學習的機器(Machines that learn)」,打造擁有終身記憶、自主自我修正並能隨時間進化的體驗型 AI Agent。
傳統 AI 應用通常需要工程師手動拼接 Prompt 與上下文,而 Letta 提出了顛覆性的 LLM-as-an-Operating-System 哲學:
LLM 作為 CPU:負責執行推理、決策與調用工具。
上下文視窗(Context Window)作為 RAM:存取當前正在處理的高優先級資料。
外部儲存(Vector DB / Archival Storage)作為 Disk/Hard Drive:持久化儲存海量歷史對話與外部知識庫。
在 Letta 中,Agent 擁有對自己上下文視窗的完全控制權,能夠自主決定哪些記憶需要保留在 RAM(核心記憶體)、哪些數據需要歸檔至 Disk(歷史檔案),並在需要時主動調用工具檢索。
Letta 的記憶體管理架構分為三個關鍵層級,確保 Agent 在有限的上下文視窗中保持無限的長期記憶能力:
如同操作系統的 RAM,這是永遠留在 Agent 上下文視窗中的記憶區塊:
Persona Block:定義 Agent 的角色設定、行為準則與自我認知。
Human Block:儲存使用者的偏好、習慣與關鍵背景資訊。
Custom Knowledge Block:任務專屬的持續狀態(例如深度研究報告的當前進度)。
Letta 賦予 Agent 主動修改自身記憶體 的能力。透過特定的核心工具(如 core_memory_append、core_memory_replace),Agent 可以在與使用者對話過程中:
即時更新使用者的最新偏好。
自動修正舊有資訊與錯誤認知。
整理與整理內部記憶邏輯。
Recall Memory:完整的對話歷史日誌。當上下文溢出時,Letta 會進行遞歸摘要,確保舊對話不會丟失。
Archival Memory:支援向量資料庫(Vector Database)的語意檢索。Agent 可隨時透過搜尋工具主動拉取過去的紀錄或外部文件。
Letta 團隊持續在 Agent 學習與上下文工程領域發表頂尖研究,帶領社群探索 AI Agent 的未來方向:
| 研究創新 / 功能 | 核心概念與優勢 |
| 離線計算(Sleep-time Compute) | 讓 Agent 在無人互動的空閒時間(Idle time)進行反思、彙整對話歷史並更新記憶區塊,提升即時回應品質。 |
| 上下文編譯(Context Compilation) | 將記憶區塊、工具規則與對話歷史自動編譯為最優 Prompt,支援 Jinja 樣板客製化。 |
| 多 Agent 共享記憶體(Multi-Agent Shared Memory) | 多個 Agent 可以共享相同的 Memory Block,實現跨 Agent 協作、背景知識庫共享與團隊學習。 |
| 心跳機制(Heartbeat Looping) | 允許 Agent 在不等待使用者輸入的情況下發起連續多步推理(Multi-step reasoning),順暢完成複雜工作流程。 |
Letta 提供了高度靈活且模型無關(Model-agnostic)的開源生態系:
基底模型支援:相容 OpenAI、Anthropic Claude、Google Gemini,亦支援 Local LLM(如 Ollama、vLLM)。
CLI 工具(Letta Code):
Bash
npm i -g @letta-ai/letta-code
開發者可直接透過命令列快速建置與除錯自訂記憶體 agent。
部署與擴展性:支援 Python SDK、REST API 以及 Docker / Kubernetes 容器化部署,輕鬆整合至現有企業系統。
Letta 的長期記憶能力使其特別適合需要長時間互動與狀態維護的複雜應用:
個人化 AI 助手:長期記住使用者的習慣、健康數據與工作風格,提供精準的客製化服務。
深度研究 Agent(Deep Research Agents):在長時間的論文閱讀與資料蒐集過程中,將研究狀態寫入 Memory Block,避免任務偏離軌道。
企業知識管理:建置能隨著團隊運作持續學習新規範與知識庫的跨部門 Agent。
Letta 不僅僅是一個 Agent 框架,更是邁向終身學習 AI(Continual Learning AI)的重要里程碑。透過將 Memory 作為 Agent 設計的絕對核心,Letta 讓開發者不再受限於上下文視窗的天然障礙,為建構具備持久性、適應力與自主進化能力的 AI 系統提供了最佳解答。