Google公開Titans架構與MIRAS框架 打造可持續學習的AI記憶系統

Google研究團隊正式發布突破性AI架構Titans，搭配創新MIRAS框架，致力解決傳統模型無法持續學習的問題。這項技術突破將使語言模型具備擬人化記憶能力，開啟AI領域全新發展方向。

傳統Transformer面對書籍、基因序列等長序列資料時效能會大幅下降，運算成本更會隨上下文長度呈平方級增長。Titans創新採用雙重記憶架構：

• 短暫記憶區：採用窗口注意力機制精準處理即時資訊
• 長期記憶庫：可於推論過程中持續更新，特別強化儲存意外資訊的能力

Google同步提出的MIRAS框架更提供理論基礎，將近年各種序列模型（如Transformer變體、Mamba、RetNet等）統整解構為四大設計維度。這個劃時代觀點推動Moneta、Yaad等新型態模型的誕生，在超長上下文測試中甚至超越Mamba2表現。

Titans系統的記憶管理機制充滿巧思：

• 驚喜值指標：根據資訊意外程度決定儲存優先級
• 三種記憶模式：MAC（記憶即上下文）、MAG（記憶即門控）、MAL（記憶即層級）

實測表現令人驚豔：

• 在200萬token極長上下文處理刷新紀錄
• "大海撈針"測試中16,000token文本準確率達95%
• 僅7.6億參數就超越體量更大的同類模型

這項突破標誌著AI發展重要轉折點，呼應前OpenAI首席科學家Ilya Sutskever提出「超越靜態模型」的願景。Google採用模組化記憶架構，走出與SSI不同但目標一致的技術路線，引領AI邁向持續進化的新紀元。團隊預告將開源程式碼，未來可望應用於DNA建模與影片解析等多元領域。