NeurIPS 2025 · Foundation Models & Complexity

Correlation Dimension of Auto-Regressive Large Language Models

Xin Du · Kumiko Tanaka-Ishii

从 next-token log-probability 轨迹估计相关维度，用一个跨尺度几何量补充 perplexity 的局部视角。

困惑度没有描述文本如何组织

自回归模型以 next-token prediction 训练，因此困惑度自然成为最常用的评价量。它回答的是局部问题：模型为实际出现的下一个 token 分配了多大概率。一个序列即使不断重复已经出现的模式，也可能具有很低的困惑度；相反，包含新实体和长程依赖的文本可能更难预测，却具有更完整的结构。局部预测误差因而无法单独说明模型是否在维持跨句关系、是否正在退化，也不能解释这些能力在预训练过程中何时形成。

论文引入相关维数，试图连接微观的预测分布与宏观的序列结构。对给定文本，每个位置都对应一个完整词表上的 next-token log-probability 向量：

这些向量随位置移动形成一条高维轨迹。两个状态接近，意味着模型在两个位置给出了相似的未来分布；从文本角度看，中间片段对后续预测的影响较小，轨迹发生了一次“复现”。在不同距离尺度上统计这样的状态对，若相关积分满足

斜率 $d$ 就给出模型为区分当前序列而实际使用的动态自由度。它既包含相邻位置的局部复现，也包含跨越较长片段的远程复现。

模型感知的复杂性

这里测得的不是脱离模型而独立存在的文本常数，而是 模型所感知的复杂性。论文首先用 Lin–Tegmark 概率语法控制序列本身的层级结构。当语法参数从近乎确定的生成逐步走向高复杂度区域时，相关维数从接近 $0$ 增长到 $10$ 以上，说明估计量能够响应已知的生成复杂度，而不要求模型专门在该语法上训练。

上下文长度实验进一步揭示“感知”的含义。只有一个 token 的上下文近似 bigram 模型，维数约为 $3$；上下文扩展到 $32$ 时，模型开始区分更多条件结构，维数上升到约 $8$。继续增加上下文后，维数反而回落并稳定在约 $6.5$。这不是模型遗忘了上下文，而是长上下文中的冗余被压缩：模型利用更多历史信息，却把功能相近的上下文组织到更低维的预测结构中。

预训练的三个阶段

对 Pythia、OpenLLaMA 和 Amber 的连续 checkpoint 进行测量后，相关维数呈现出困惑度曲线看不见的三个阶段。训练初期，维数快速下降，模型首先掌握词频和短程搭配；随后维数上升，表示它开始区分更长的依赖和更多上下文类型；训练后期，维数再次缓慢下降，表明已有结构被压缩并形成更具泛化性的表示。与此同时，困惑度基本单调降低，无法区分“学习新结构”和“压缩已有结构”这两种动力过程。

这一分期也暴露了小模型的容量边界。Pythia-14M 和 Pythia-160M 在训练后期出现维数异常回升，并伴随上下文重复任务准确率下降。模型继续改善局部预测，却未能把长程结构稳定压缩进有限容量。这里的维数变化不是一个抽象的美学量，而是对表示效率与泛化失配的诊断。

退化是轨迹自由度的损失

论文随后把相关维数用于生成质量分析。人工构造的重复文本维数为 1.83，正常文本为 6.27。在控制语体和主题的 GPT-4o 数据中，正常文本平均为 5.04；重复、不连贯和内容贫乏文本分别降至 3.80、3.96 和 4.51，差异均具有统计显著性。困惑度在这些条件下没有统一方向：重复和内容贫乏可能更容易预测，不连贯文本则更难预测。相关维数捕捉的是它们共同丢失的结构自由度，而不是局部概率是否更尖锐。

日语文字系统的对照实验提供了一个必要的边界检查。将汉字与假名混写改为仅使用假名后，表面重复指标变化明显，而相关维数只发生较小变化。这表明该量主要响应模型的预测结构，而非把书写形式的重复直接误认为语义简单。

在随机姓名开头的长文本压力测试中，八个模型的相关维数与 HelloEval 评分达到 Spearman 相关 $\rho=0.952$。知识回忆案例也显示，维数较低的轨迹更容易出现对冷门实体的编造；但模型规模本身并不决定维数，较大的模型仍可能形成低维、错误的预测轨迹。这些结果支持它作为退化和知识失稳信号，而不是将其解释为逐条判断事实真假的幻觉检测器。

可计算性与边界

直接比较 $N$ 个位置、整个词表上的状态距离，计算量为 $O(N^2|\Omega|)$。实现使用融合 CUDA kernel，避免保存额外的两两距离矩阵；同时通过词表约简保留主要几何，使总体速度提升超过一个数量级。以 FP32 计算距离时，GPTQ 或 AWQ 量化至 4-bit 造成的平均维数变化小于 3%，因此可以用于较大开源模型的 checkpoint 分析。

相关维数仍受序列长度、标度区间和模型感知能力限制，也要求获得完整 logits，不能直接用于只返回采样文本的封闭 API。有限文本上的斜率是估计量，不是语义质量的充分条件；预训练“三阶段”是跨模型复现的经验结构，也不等同于已经建立的统计物理相变。它更适合作为一个互补观测量：在困惑度之外，描述模型何时获得、压缩或失去长程动态自由度。

← 大模型与复杂性