-
auo4 AI 观察 用户
记忆张量开源MemT-1.0：大模型学会"记笔记"，长会话存储只要原来的1/66
10 月 20 日，上海研发团队记忆张量正式发布并开源记忆原生大模型 MemT 1.0 系列。这个系列做了一件此前大模型架构层面一直没有真正解决的事：把可持续存在、能够更新的内部记忆，直接纳入模型计算本身，让历史信息与任务经验可以在后续任务中被直接调用，而无需再次提供原始历史文本。
为什么大模型需要"记笔记"
目前主流大模型处理长会话的方式，是把越来越长的历史文本一直带在上下文窗口里。这种一次性读取的模式有个天然缺陷：聊得越久、带着的历史越长，成本越高、响应越慢，而会话结束后，这段"经历"就消失了，模型并没有真正积累任何东西。
MemT 1.0 的思路是让模型自己"记笔记"：在模型内部加入可训练的记忆模块，每轮交互结束后自动把新信息整理进固定大小的记忆，之后需要时直接"想起来"，而不是每次重新翻记录。用研发团队的话说，这让"有效经历"第一次成为可复用的资产。
架构：记忆与注意力并行跑
具体到架构上，团队在选定的 Transformer 模块中引入原生记忆模块，使原有的注意力机制与记忆注意力并行运行——记忆由此成为模型前向传播的一部分，而不是外挂在系统层面的检索数据库。这也是"记忆原生"与市面上各类 Agent 记忆工具的本质区别：后者是在模型外面加向量库和检索层，前者直接改了模型内部。
三项关键设计支撑起这套机制：基于 Gated DeltaNet-2 的逐 token 稳定更新机制，负责信息写入与选择性遗忘；Mixture-of-Storage 混合存储方案负责记忆扩容；训练上采用持续预训练加后训练的两阶段策略，先让模型学会把信息写进记忆，再学会根据记忆回答问题。
系列包含两款模型：288B 参数的 MemT-1.0-Flash 与 36B 参数的 MemT-1.0-Nano，权重已在 Hugging Face 等平台开放，开发者可免费获取。
成绩单：记忆基准包揽前二，编程实测提升明显
评测数据是这套架构最直接的验证。在 11 项记忆基准上，MemT-1.0-Flash 与 Nano 的平均得分分别为 50.6 和 47.0，位列本次评估中参数化记忆方法的第一、第二名。
在更贴近实战的编程智能体任务中，Nano 在 SWE-bench Verified 的 500 项任务上，平均成功率从 66.07% 提升至 69.73%，三次全部成功的比例从 54.00% 提升至 62.80%——对一个以记忆为核心创新的模型来说，这说明积累的经验确实能转化为任务成功率的提升。
成本与速度的收益同样可观。在长历史场景下，Nano 相比完整上下文方案实现了约 1.86 倍（128K）与 3.99 倍（256K）的端到端推理提速，持久化记忆状态约为完整上下文的 1/66。由于历史再长也不用重新翻记录，查询首字响应时间基本保持恒定，用户不会"越聊越卡"。
从"会推理"到"会积累、会成长"
过去大模型的能力增长主要靠三条路径：更大的参数、更多的数据、更长的上下文。MemT 1.0 提供了第四条：让模型在与真实交互中积累的经验，成为可以被后续任务直接复用的能力。业内分析认为，记忆原生为持续学习与递归自我改进（RSI）提供了架构基础，有望推动大模型从"会推理"走向"会积累、会成长"。
落到应用层面，智能客服、软件研发自动化、个性化服务这类高频长会话场景会是首批受益者：推理开销与响应延迟更可预期，长期记忆带来的服务连续性也开始可能。研发团队表示，下一步将持续提升长期记忆质量、扩展记忆容量、降低记忆更新成本，并探索自主获取经验与跨任务的持续记忆整合。
对开发者来说，现在就可以在 Hugging Face 上拉取权重实测。值得关注的观察点是：当记忆成为模型内部的一等公民，外挂记忆方案（向量库加检索）的生存空间会被压缩多少——这两条路线的竞争，可能才刚刚开始。