前不久,ChatGPT推出了长期记忆功能,让全球用户为之点赞。
现在,中国队研究者提出了一种更为SOTA的“记忆管理”方法!同时,开源了!
近日,上海交大和浙江大学等领先机构的研究团队已为AI开发了第一个“记忆操作系统”,克服了阻碍模型像人类那样持久记忆和学习的一大难题。
该系统名为MemOS,将记忆视为可以随时间的推移加以调度、共享和改进的核心计算资源,类似传统操作系统管理CPU和存储资源那样。
研究论文已于7月4日发表在arXiv上,表明性能比现有方法有显著提升,包括与OpenAI的记忆系统相比,处理时间推理任务的表现提升了159%。
研究人员在论文中写道:“大语言模型(LLM)已成为通用人工智能(AGI)的重要基础设施,但缺乏明确定义的记忆管理系统却阻碍了长上下文推理、持续个性化和知识一致性的发展。”
目前的AI系统面临研究人员所说的“记忆孤岛”问题,这个基本的架构限制使AI系统无法与用户保持连贯、长期的关系。每个对话或会话基本上都从头开始,模型无法在交互中保留偏好设置、积累的知识或行为模式。这导致了令人沮丧的用户体验,因为AI助手在下一次被要求推荐餐厅时,可能会忘记用户在前一次对话中提到的饮食禁忌。
虽然检索增强生成(RAG)等一些解决方案试图通过在对话期间提取外部信息来解决这个问题,但研究人员认为这仍然是“缺乏生命周期控制的无状态变通方法”。问题不止简单的信息检索来得简单,关键在于创建可以真正从经验中学习和进化的系统,就像人类记忆一样。
研究团队解释道:“现有模型主要依赖静态参数和短期上下文状态,从而限制了在较长时间内跟踪用户偏好或更新知识的能力。”这种局限在企业环境中尤为明显,AI系统需要在可能持续数天乃至数周的复杂多阶段工作流中维护上下文。
MemOS通过研究人员所谓的“MemCubes”引入了一种全然不同的方法。MemCube是标准化的记忆单元,可以封装不同类型的信息,并随着时间的推移加以组合、迁移和改进。这涉及基于文本的显式知识和模型内的参数级适应和激活状态,从而创建前所未有的统一记忆管理框架。
图1. MemCube
在针对评估记忆密集型推理任务的LOCOMO进行基准测试时,MemOS在所有类别中的表现始终优于既定的基准方法。相比OpenAI的记忆方法,该系统整体提升了38.98%,在需要跨多次对话衔接信息的复杂推理场景中,提升幅度尤为明显。
研究人员称:“MemOS(MemOS-0630)在所有类别中始终名列第一,优于mem0、LangMem、Zep和OpenAI-Memory等强大的基准方法,面对多跳和时间推理等具有挑战性的任务时差距尤为悬殊。”
该系统还大幅提高了效率,通过其创新的KV缓存记忆注入机制,在某些配置下,首token时间(time-to-first-token)延迟最多可以缩短94%。
这些性能提升表明,记忆瓶颈是以前未充分理解的一大限制。通过将记忆视为首要计算资源,MemOS 似乎发掘了以前受架构限制的推理能力。
这可能会对企业部署AI带来变革性的影响,尤其是鉴于企业日益依赖AI系统与客户和员工建立复杂、持久的关系。MemOS 实现了研究人员所说的“跨平台记忆迁移”,使AI记忆能够在不同的平台和设备之间移植,打破了所谓的“记忆孤岛”,记忆孤岛目前将用户上下文困在特定的应用场景中。
试想:眼下许多用户在一个AI平台中获得的知识无法转移到另一个AI平台时所遇到的挫败感:营销团队可能借助与ChatGPT的对话来开发详细的客户用户角色,但在换成不同的AI工具规划营销活动时,只能从头开始。MemOS创建了可以在系统之间移动的标准化记忆格式,解决了这个问题。
研究论文还概述了“付费记忆模块”的潜力,领域主题专家可以将他们的知识打包成可购买的记忆单元。研究人员设想“临床轮换的医学生可能希望研究如何管理罕见的自身免疫疾病。经验丰富的医生可以将诊断启发方法、提问路径和典型病例模式封装到结构化记忆区”,该记忆区可以由其他AI系统安装和使用。
这种市场模式可以从根本上改变专业知识在AI系统中的分发和变现方式,为专家创造新的经济机会,同时易于获得高质量的领域主题知识。对于企业来说,这可能意味着快速部署在特定领域拥有深厚专业知识的AI系统,不用操心与自定义训练相关的传统成本和时间。
MemOS的技术架构反映了数十年来从传统操作系统设计中学到的经验,克服了AI记忆管理方面的独特挑战。
该系统采用三层架构:用于API调用的接口层、用于记忆调度和生命周期管理的操作层,以及用于存储和治理的基础设施层。
图2. MemOS架构示意图
该系统的MemScheduler组件动态管理不同类型的记忆:从临时激活状态到永久参数修改,并根据使用模式和任务要求选择最佳存储和检索策略。这与当前方法大相径庭,当前方法通常将记忆视为完全静态(嵌入在模型参数中)或完全短暂(仅限于对话上下文)。
研究人员特别指出:“重点从模型一次学习多少知识变成了模型是否可以将经验转化为结构化记忆并反复检索和重建,”并描述了对所谓的“Mem训练”范式的畅想。这种架构理念建议从根本上重新思考AI系统的设计方式,从当前大规模预训练的范式转向更加动态、注重经验的学习。
这与操作系统发展有着惊人的相似之处。正如早期计算机需要程序员手动管理内存分配一样,当前的AI系统要求开发人员认真协调信息在不同部件之间的流动方式。MemOS屏蔽掉了这种复杂性,有望带来新一代AI应用程序:它们可以构建在复杂的记忆管理上,而无需深厚的技术专业知识。
该团队已将MemOS作为开源项目发布,在GitHub上提供了完整的代码,并为包括 HuggingFace、OpenAI和Ollama在内的主要AI平台提供了集成支持。这种开源策略似乎旨在加快采用,并鼓励社区发展,而不是追求可能限制广泛实施的专有方法。
项目负责人Zhiyu Li在GitHub代码库中说道:“我们希望MemOS有助于使AI系统由静态生成器变成不断改进的记忆驱动智能体。”该系统目前支持Linux平台,并计划支持Windows和macOS,这表明团队优先考虑企业和开发人员的采用,而不是消费者立即可以享用。
开源发布策略反映了AI研究领域一个更广泛的趋势:底层基础设施方面的改进公开共享,以惠及整个生态系统。这种做法历来加快了深度学习框架等领域的创新,可能会对 AI 系统的记忆管理产生类似的积极影响。
当下,各大AI公司竭力克服当前的记忆方法存在的局限性,凸显了这一挑战对该行业来说多么重大。OpenAI最近为ChatGPT引入了记忆功能,而Anthropic、谷歌及其他提供商已尝试了多种持久上下文。然而,这些方法的范围通常有限,常常缺少MemOS所提供的系统性方法。
这项研究的时机表明,记忆管理已成为AI界竞相角力的一个方面。能够有效解决记忆问题的公司可能会在用户留存和满意度方面获得显著优势,因为他们的AI系统将能够随着时间的推移建立更深入、更实用的关系。
业内观察家早就预测,AI的下一大突破不一定来自更大的模型或更多的训练数据,而是来自更好地模仿人类认知能力的架构创新。记忆管理正是这样的重大进步,有望支持当前的无状态系统无法实现的新应用和新场景。
这一突破无疑是AI研究向更有状态、更持久的系统转变的一部分,这种系统可以随着时间的推移积累和完善知识,而这些是被视为AGI所必需的功能。对于评估AI实施的企业技术领导者来说,MemOS 可能代表着构建AI系统方面的重大进步:这类系统可以维护上下文并逐渐改进,而不是将每次交互都视为孤立的。
研究团队表示,他们计划探究跨模型记忆共享、自进化记忆块以及更广泛的“记忆市场”生态系统。
但也许MemOS最重大的影响不是具体的技术实现,而是证明将记忆视为首要的计算资源有望大幅提升AI能力。
在这个主要专注于扩展模型大小和训练数据的行业,MemOS表明下一个突破可能来自更好的架构,而不是更大的计算机。
论文链接:
https://arxiv.org/pdf/2507.03724
GitHub链接:
https://github.com/MemTensor/MemOS
参考链接:
https://venturebeat.com/ai/chinese-researchers-unveil-memos-the-first-memory-operating-system-that-gives-ai-human-like-recall/
更新时间:2025-07-12
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2020-=date("Y",time());?> All Rights Reserved. Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302035593号