大模型也需要睡觉！让AI打个盹，醒来更聪明

睡眠机制成救命稻草

2026年5月, 由卡内基梅隆大学和马里兰大学团队发布了论文《Language Models Need Sleep》, 此论文揭示了大模型在处理长上下文时会出现性能衰竭的状况, 该研究灵感直接源自人脑海马体在睡眠期间巩固记忆的机制, 并且团队把这一生物学原理运用到了AI架构当中。

具体的那种设计啊, 就是在模型上下文窗口快要达到满载的这个时候, 就暂时停止去处理新的token, 然后进入完全处于离线的状态。借助多轮的递归前向传播这种方式, 依靠能够进行学习的局部规则反复地去提炼相关信息, 依照这样的步骤渐渐更新SSM模块里面的快速权重。在完成深度压缩之后, 先将KV缓存清空, 之后再苏醒过来。

算力瓶颈引发性能崩溃

Transformer核心所具备的注意力机制存在着与生俱来的短板, 那就是, 上下文越长，算力呈平方级增长, KV缓存则呈线性上升。将8K和128K上下文窗口进行对比, 后者在推理任务上的成本差距极大, 大部分算力都消耗在了历史信息关联的计算之上, 进而导致模型在长对话中显著地变慢变笨。

当前行业有着两种应对方案, 其一为硬扛, 将老信息踢出然而模型会立刻遗忘, 其二是采用SSM加上Attention混合架构, 像Samba、Qwen3.5那样, 后者把老信息压缩进快速权重, 虽说缓解了内存压力, 可是团队发觉当推理步骤变长的时候, 模型依旧会出现性能失效。

深度推理能力成新短板

研究团队表明, 当下的瓶颈并非是信息存储方面存在不足, 而是深度推理的能力没能赶得上。在历史信息被从KV缓存当中移出之前, 模型仅仅只有一次前向传播的机会来完成内化, 单次的处理很难去支撑复杂逻辑的拆解以及推导，这就如同人脑在白天经历大量事件后却没办法当场进行消化。

这一现象跟人脑呈现出高度的相似性, 白天的时候, 短期记忆是必须要等到夜间睡眠阶段的, 在这个阶段, 海马体借助多轮的回放, 才能够将其巩固进入皮层突触。模型同样是需要处于离线状态的, 要将外部刺激关闭, 从而集中算力用来完成信息的消化, 并且回放的次数对于巩固效果有着直接的影响。

测试数据揭示睡眠价值

团队选用元胞自动机测试, 选用多跳图检索测试, 选用GSM-Infinite无限数学推理三类任务测试, 通过精准控制推理深度这一变量, 通过精准控制记忆负载这一变量。结果清晰显示, 提升睡眠迭代轮次后, 模型整体性能稳步提升, 尤其在高难度深度推理任务上表现突出。

醒着时, 简单题目模型能够迅速给出答案, 然而复杂难题却要历经多轮睡眠梳理, 才可理清思路。测试数据表明, 逻辑链条越复杂, 模型就越需要多些“睡眠时间”, 不然推理过程会如同人连续熬夜后那般, 出现诸多漏洞。

混合架构仍存隐患

即便快速权重存有充裕容量, 然而当推理步骤数目增多时, 混合架构模型仍旧显现性能无效的状况。这表明当下技术方案并未切实攻克深度推理的束缚, 仅仅依靠将信息压缩至快速权重, 无法确保模型拥有足够强大的逻辑拆解本领。

团队把睡眠机制设计成停止接收新token, 当针对已积累的上下文去执行多轮递归前向传播的时候。额外的计算开销全都聚集在睡眠阶段, 苏醒之后正常的推理流程只要一次前向传播就行, 这样的模式在算力分配方面更具备可持续性。

未来AI需学会休息

有一个研究团队, 他们给出了这样的建议, 就是针对模型而言, 当上下文窗口差不多快要满的时候, 应该主动去触发睡眠状态，而不是一直硬撑着一直到性能出现崩溃的情况。这种机制呢，和人脑能够高效运作的方式有着异曲同工之处: 停下来去进行思考, 往往比持续不断地做运算更能够提升效率, 尤其是在处理那种需要多步推导才能完成的复杂任务的时候。

就算力分配这个角度而言, 处于睡眠阶段时的计算投入, 会明显对显著提升模型后续的推理质量产生作用。团队着重指出, 睡眠轮次越多, 信息的梳理以及打磨就会越发充分, 然而需要在额外开销与性能增益之间达成平衡, 这同样为未来AI系统的设计给出了新的方向。

你觉得AI是否应该像人类一样，给自己设定一个强制休息时间？欢迎在评论区分享你的观点，点赞并转发本文让更多人看到这项有趣的发现！

猜你喜欢