ICML 2026 · Agent Dynamics

Escaping Mode Collapse in LLM Generation via Geometric Regulation

Xin Du · Kumiko Tanaka-Ishii

将模式坍缩从 token 级重复重述为内部轨迹的几何坍缩，并在 Transformer value cache 上实施在线低秩调控。

模式坍缩是一个长程动力学问题

自回归生成的失稳通常先被看作解码问题：重复惩罚、top-$k$、top-$p$ 或提高温度，都试图在当前一步重新分配 token 概率。但长文本中的显式循环只是最容易观察的一种结果。更常见的退化是语义停滞、措辞逐渐单一，或叙述在尚未完成时收敛到少数安全模式。它们未必伴随异常的单步熵，也很难由某个重复片段统一定义。

论文将研究对象从输出符号转向生成过程的内部轨迹。随着解码推进，KV cache 持续吸收历史信息，并决定后续可到达的状态。如果局部偏置沿某些衰减极慢的方向不断累积，轨迹就可能被限制在一个低维亚稳区域；模型仍能生成语法完整的句子，却逐步失去访问新状态的能力。这里的 mode collapse 因而被表述为 geometric collapse：表面症状不同，内部都表现为状态空间可达性的下降。

相关维数用于测量轨迹中仍然活跃的有效自由度。它与 token entropy、Distinct-$n$ 的区别在于，后两者描述输出分布或词面多样性，而相关维数直接考察状态复现的跨尺度结构。实验中，无论是突然进入的重复循环，还是没有明显重复片段的渐进退化，都对应于轨迹维数的持续下降。

一个可解析的最小模型

为了分离机制而不是复刻 Transformer 的全部细节，论文构造了一个二维、状态依赖的迭代函数系统。每一步选择哪一个映射，不仅取决于即时随机性，也取决于历史平均状态 $m_t$。这一反馈形成与平均场 Ising 模型相似的自增强过程：高温时，轨迹可以在多个区域之间切换；温度降低后，历史偏置开始主导映射选择，系统分裂为两个稳定分支，并局域在其中之一。

这个最小模型给出了一个清楚的机制链条：历史依赖产生慢变量，慢变量改变转移概率，改变后的转移又强化慢变量。临界点以下，状态可达性和相关维数同时下降。对历史平均施加很弱的阻尼，

就能破坏正反馈并恢复轨迹探索。该结果不是对真实语言模型相变的严格证明，但它指出了可操作的控制对象：不应无差别增加随机性，而应识别并削弱在历史中异常持久的方向。

从慢模识别到几何调控

在 Transformer 中，论文只调节 value cache。直接修改 key 会改变注意力权重及其全局依赖关系，而 value 的低秩变换更适合对已经聚合的状态内容实施局部控制。设 $\Sigma$ 为 value 状态的协方差，$\Sigma_{\Delta}$ 为相邻时刻的对称交叉协方差，慢模由广义特征值问题

确定。在平稳条件下，$|\lambda|\leq 1$；当 $\lambda$ 接近 $1$，对应方向在相邻时刻几乎不衰减，因而最容易积累为支配轨迹的持久模式。

Reinforced Mode Regulation（RMR）在线维护这些统计量，只选取超过持续性阈值的少数特征方向 $U$，再对 value cache 施加低秩阻尼：

阈值选择使调控保持稀疏：普通涨落不会被压制，只有形成异常谱持续性的方向受到干预。未经调控的生成在坍缩前会出现明显的谱重组——最大广义特征值趋近 $1$，第二特征值下降并形成谱隙，表示运动正被单一慢模接管；RMR 则把领先特征值维持在阈值以下，使多个可达方向得以保留。随机选取同秩子空间不能复现实验增益，说明有效性来自对持久方向的定位，而非一般性的降幅或噪声注入。

稳定边界如何移动

主要实验在长篇续写中比较固定温度与固定目标熵两类设置。标准采样在熵率约为 $2.0$ nats/step 时已频繁坍缩，而 RMR 在约 $0.8$ nats/step 的低随机性区域仍能维持生成。温度为 $0.7$ 时，非坍缩率由 8% 提升至 56%；目标熵为 $1.0$ 时，由 5% 提升至 33%。这些结果说明，低熵本身并不必然导致退化，关键在于内部轨迹是否被少数持续模式锁定。

长时程实验进一步放大了差异。在 $4{,}000$ token 续写中，标准温度 $1.0$ 的非坍缩率为 6%，即使将温度提高到 $1.2$ 也只有 55%；RMR 在温度 $1.0$ 下达到 99%。对于本来没有坍缩的样本，基于连贯性、句法和信息推进的质量比较没有发现显著下降。这意味着稳定性的提高并非简单来自把所有输出推向更随机的分布。

结论的适用范围

这项工作支持一个有限但重要的结论：长程生成退化可以由内部状态的几何收缩来诊断，并可通过针对慢模的推理时干预改变稳定边界。最小模型中的临界转变提供机制解释；真实模型中的相关维数、谱隙和干预结果提供经验对应，但两者不能直接等同为严格的热力学相变。

现有方法需要访问 KV cache，并增加在线协方差估计与低秩求解的计算开销；阈值和阻尼强度仍采用固定设置。实验主要覆盖自回归 Transformer 的长篇续写。将这一方法扩展到工具型智能体时，还需要把外部记忆、规划状态和工具反馈纳入非平稳状态空间，并检验谱持续性是否能在无效循环发生之前形成可靠预警。

← 智能体动力学