Xin Du · 杜鑫
菜单

Physical Review Research 2024 · Foundation Models & Complexity

Correlation Dimension of Natural Language in a Statistical Manifold

Xin Du · Kumiko Tanaka-Ishii

以预测分布为语言状态、以 Fisher-Rao 距离为度量，在非欧氏统计流形上重构相关维度。

Journal · PRR Preprint · arXiv Research · 大模型与复杂性

离散语言为何难以谈论维数

分形维数描述一个系统在观察尺度缩小时会展开多少新的自由度。对连续动力系统，状态坐标和距离通常由物理变量给定；自然语言却只表现为离散符号序列。把段落转换为词频或嵌入向量再计算欧氏距离，会让结果依赖任意的表示变换：坐标系改变，所谓“维数”也可能改变。论文首先要解决的不是如何拟合一条直线，而是为语言状态建立具有统计意义的几何。

形式上，位置 tt 的完整语言状态可以写成所有未来序列上的条件分布

xt(a≥t)=P(a≥t∣a<t).x_t(a_{\geq t})=P(a_{\geq t}\mid a_{<t}).

这一对象包含语言历史对全部未来的影响，却无法直接枚举。语言模型提供了一个可观测投影：下一词条件分布

pt(w)=P(at=w∣a<t)=ϕ(xt).p_t(w)=P(a_t=w\mid a_{<t})=\phi(x_t).

对于 Markov 生成的序列，论文证明这个边缘化映射保留相关维数；对具有长程记忆的自然语言，观测到的维数是完整状态维数的近似或下界。这个区分很重要：计算对象有明确的动力学含义，同时结论不会越过投影本身的能力。

概率单纯形上的自然度量

每个 ptp_t 都位于词表上的概率单纯形。论文使用 Fisher–Rao 几何，它对概率模型的重新参数化保持不变，因而不会把人为坐标选择写进距离。在多项分布上，Fisher–Rao 距离可以化为 Bhattacharyya 角：

dFR(pt,ps)=2arccos⁡∑wpt(w)ps(w).d_{\mathrm{FR}}(p_t,p_s) =2\arccos\sum_w\sqrt{p_t(w)p_s(w)}.

由此可以在统计流形上重建 Grassberger–Procaccia 相关积分。若距离小于 ε\varepsilon 的状态对比例满足

C(ε)∝εν,ν=dlog⁡C(ε)dlog⁡ε,C(\varepsilon)\propto\varepsilon^\nu, \qquad \nu=\frac{\mathrm d\log C(\varepsilon)} {\mathrm d\log\varepsilon},

那么 ν\nu 描述预测状态在该尺度下展开的有效维数。它不是单一半径处的聚类密度，而要求在跨尺度区间内出现稳定幂律。实验还将约 50,00050{,}000 个 token 按模分组为 1,0001{,}000 类，在基本保留维数的同时把距离计算降低约 50 倍。

局部自相似与全局自相似

真实文本同时存在两类不同来源的标度。低熵位置附近，少数词占据几乎全部概率，简单的独立 Dirichlet 混合也能产生类似的局部结构；这种局部分形主要反映概率单纯形边界，而不足以说明语言动力学。论文因此聚焦满足 max⁡wpt(w)<0.5\max_w p_t(w)<0.5 的高熵状态，以分离更依赖上下文的全局自相似。

《堂吉诃德》的相关积分在超过六个数量级的距离范围内形成稳定标度，估计维数为 6.42。当上下文长度小于 3232 时，全局标度区间明显缩窄；上下文扩展后，曲线逐渐接近 512512 token 的结果。相反，局部低熵结构几乎不随上下文变化。这一对照说明，全局自相似并非词频分布的静态副产品，而需要语言模型读取较长历史后才出现。

自然语言在 Fisher–Rao 统计流形上的相关积分与标度区间
相关维数来自跨尺度的稳定斜率；局部边界结构与依赖长上下文的全局标度需要分别处理。

约六至七维的全局结构

论文测量了英语、中文、德语和日语的 144144 本书，以及由书籍、论文、百科与 Stanford Encyclopedia of Philosophy 条目组成的 342342 篇英语长文本。英语、中文、日语和德语的平均维数分别为 6.39、6.81、7.30 和 5.84；SEP 文本为 6.57，且绝大多数拟合的 R2R^2 超过 0.990.99。不同规模的 GPT-2 与 Yi 模型给出的平均值也基本一致。

这些数字支持自然语言在所采用观测和尺度下具有约六至七个有效自由度，但论文并不主张存在一个与模型、语料和估计方法无关的精确常数。信息维数的解释更直观：若分辨率提高一倍，约 ν=6.5\nu=6.5 意味着需要区分大约 26.5≈902^{6.5}\approx90 倍的上下文状态。高维词表由此被压缩为一个低维但非平凡的预测流形，反映语言中大量不同上下文能够传递相近信息，同时仍保留若干独立变化方向。

对照实验说明这个低维区间不是一般离散序列的必然结果。打乱词序后维数升至约 13，随机初始化语言模型产生的轨迹约为 80，白噪声超过 100；简单 Barabási–Albert 网络则接近 2。自然语言位于机械重复与无结构随机之间。Fisher–Rao 距离在语言数据上的标度线性也显著优于欧氏距离，表明统计流形不是一个可有可无的技术选择。

结论及其边界

这项工作给出了一个可复现的语言复杂性定义：以条件预测分布表示状态，以 Fisher–Rao 距离定义几何，以相关积分的跨尺度幂律定义维数。长上下文实验把全局自相似与长程记忆联系起来，多语言与随机对照则确定了其数量级和结构位置。同一框架还可用于音乐序列，其中古典音乐的平均维数低于摇滚和金属，说明方法并不限于自然语言。

观测维数依赖语言模型、上下文长度、有限样本和标度区间选择；next-token 分布也没有显式表示句法树等离散结构。因此，约 6.56.5 更适合作为当前统计表示下的稳健基线，而不是语言本体的最终维数。它为后续研究提供的关键工具，是把文本从符号串转化为可以讨论临界性、吸引子与动力学自由度的统计轨迹。

← 大模型与复杂性