智能体动力学

长时生成与智能体循环并非一系列相互独立的预测，而是由内部状态、记忆、工具反馈和环境输入共同驱动的非平稳动力过程。研究关注三个相互关联的问题：轨迹为何失稳，失稳前是否出现可测量的临界信号，以及能否通过低秩、在线的状态干预恢复系统的可达性。

关键词状态空间 · 几何坍缩 · 相变 · 临界性 · 在线控制

从局部预测到长程动力学

自回归模型在每一步只计算 next-token 分布，但它的长期行为由完整历史决定。局部概率可以保持平滑，生成轨迹却可能逐渐进入重复、内容停滞或策略锁定。这一尺度差异使 token entropy、重复率等局部指标难以回答一个更基本的问题：模型是否仍然能够访问足够多的内部状态。

困难在于，长程失稳往往并非由一次明显的错误触发。很小的历史依赖偏置会在递归解码中累积，前一步产生的状态又成为下一步的条件；当偏置沿少数缓慢衰减的方向持续增强时，局部上仍然合理的预测可以汇聚为宏观上的循环或停滞。因此，单步困惑度和输出多样性只描述轨迹的投影，不能区分“低随机性但持续推进”与“内部自由度已经丢失”。

在生成模型中，KV cache 可以视为随时间增长的高维状态；在更一般的 Agent loop 中，状态还包括工作记忆、规划结果、工具返回和环境观测。真正的技术困难是从这些异质、非平稳变量中构造可比较的轨迹，并区分普通随机涨落、渐进退化和吸引子切换。

几何坍缩与状态空间可达性

我们在 ICML 2026 论文中将模式坍缩重新表述为 state-space accessibility 的下降。生成发生退化时，内部轨迹被限制在低维亚稳区域；相关维度估计轨迹中仍然活跃的有效自由度。显式循环、逐渐丧失多样性和过早收敛在符号层面不同，却都伴随轨迹维度下降。

具体而言，每一步的 next-token log-probability 向量构成一条随解码推进的概率轨迹。有限时间相关维度由不同尺度下轨迹点的邻域复现率估计：如果新的状态不断探索可达空间，维度维持在较高水平；如果状态反复返回同一狭窄区域，相关积分的标度斜率会下降。在线更新只需对新增状态与已有轨迹比较，单步计算由朴素的二次累积降为随当前长度线性增长，使其可以作为运行时信号。

这一表述把研究对象从“哪些 token 被重复选择”转移到“内部动力学为何失去可达方向”。它也解释了为什么仅修改输出概率有时无法消除长程退化：解码器改变了局部选择，却没有直接改变已经形成的低维内部轨迹。

长文本生成进入重复循环的示例 — 图 1. 长程生成进入重复循环。表面重复是观测结果，研究对象是其背后的轨迹降维与亚稳态形成。

从诊断到状态调控

相关维度给出诊断，但并不直接说明应修改哪一部分状态。论文中的最小动力模型表明：历史依赖偏置在低温解码中可能逐步占据主导，系统因而被吸入低维区域；较弱的阻尼已经足以恢复可达性。临界区附近，决定长期行为的并非瞬时幅度最大的方向，而是衰减最慢、能够在历史中持续积累的方向。

基于这一观察，我们提出 Reinforced Mode Regulation（RMR）。该方法通过有界谱广义特征值问题，在 Transformer value cache 中识别具有异常时间持续性的低秩子空间，再对这些方向实施选择性阻尼。实现采用分块幂迭代与正交化，不需要显式构造高维稠密矩阵；主要开销来自 $O(TDc)$ 的投影和 $O(Dc^2)$ 的正交化，其中 $c$ 是很小的调控秩。干预只发生在推理阶段，不依赖重复词表或重新训练。

实验覆盖多个语言模型和多种低熵解码条件。标准解码通常在约 2.0 nats/step 的熵率附近发生坍缩，RMR 可将稳定生成推进至 0.8 nats/step；温度为 0.7 时，非坍缩率由 8% 提升至 56%，目标熵为 1.0 时由 5% 提升至 33%。在未坍缩样本上，连贯性、句法与信息推进没有出现显著下降。结果支持的结论是：长程稳定性可以通过内部状态调控改善，而不必以普遍增加输出随机性为代价。

相变、临界性与预警

随着温度、熵率和状态阻尼等控制变量变化，生成会从持续推进切换到低维坍缩，表现出阈值、亚稳态和突变式轨迹重组。最小模型把这一现象解释为持久方向由受控涨落转为主导运动的临界过渡；RMR 则通过削弱这些慢模改变稳定边界。

这一证据提示相变式机制，但尚不足以将其等同于严格的统计物理相变。下一步需要确定可跨模型比较的序参量，并检验临界减速、方差增大、自相关增强、滞后效应及有限尺度标度。如果这些判据成立，系统接近失稳时应先出现恢复速度下降和谱能量集中，而非等到文本已经重复后才被检测。

一旦建立可靠判据，失稳就不再只能事后识别。相关维度、谱集中度和复现率可以组成在线观测量；控制器则依据其变化触发状态阻尼、记忆刷新或重规划。研究目标不是消除所有波动，而是在保留任务能力的前提下移动失稳阈值。

向智能体系统扩展

长文本生成提供了一个可控的最小系统，而智能体把相同问题扩展到开放环境。工具调用的结果会重新进入上下文，错误计划可能被记忆固化，多个智能体之间的反馈还会产生同步、竞争和集体吸引子。这里的核心难点是状态维度不断变化，环境输入又使动力学非平稳，因而不能直接照搬固定轨迹上的统计量。