语义压缩与聚类

大模型中的知识表示受到参数规模、索引长度和上下文窗口的共同约束。研究以率失真和信息瓶颈为统一视角：有限容量下应保留哪些任务相关信息，什么才是可计算的语义失真，以及生成模型能否直接提供压缩所需的概率结构。

关键词信息瓶颈 · 率失真 · 条件生成分布 · KL 散度 · 重要性采样

生成式检索中的信息瓶颈

生成式文档检索不再遍历向量库，而是把每篇文档 $X$ 压缩为短标识 $T$ ，再训练自回归模型根据请求 $Q$ 直接生成 $T$ 。它把搜索转化为条件生成，但也引入了一个更严格的容量约束：短索引和有限参数必须共同记住“请求如何指向文档”的映射。索引设计一旦不合理，错误会沿共享前缀累积，且小模型没有足够容量在后续解码中修正。

传统 docid 通常来自文档聚类、随机编号或文本片段，优化的是文档间相似性。检索任务真正要求保留的却不是 $X$ 的全部内容，而是能够区分未来请求 $Q$ 的信息。因此，索引设计可以写成一个带任务约束的压缩问题：

\min_{p(t\mid x)} I(X;T) \qquad \mathrm{s.t.}\quad I(X;Q\mid T)\leq \varepsilon .

这一形式化导出一个直接结论：最优索引取决于联合分布 $p(X,Q)$ ，特别是请求条件分布 $p(Q\mid X)$ ，而不仅是文档之间的表面相似度。两篇内容相近的文档，如果用户询问它们的方式不同，就不应共享容易混淆的索引前缀；反之，措辞不同但服务于同类请求的文档可以共享较长前缀。信息瓶颈曲线的左下边界对应在相同索引码率下尽可能少地损失请求信息。

生成式文档检索中的文档、索引与请求 — 图 1. 离散索引构成文档与请求之间的压缩通道。

由请求分布构造离散索引

在 ICML 2024 Oral 论文中，我们提出 Bottleneck-Minimal Indexing（BMI）。由于真实请求覆盖不足，算法以语言模型生成的请求近似 $p(Q\mid X)$ ，并联合使用真实请求和文档片段降低估计偏差。随后把这些样本映射为连续表征，通过层次 k-means 生成具有前缀结构的离散索引。树的高层先编码请求分布的粗粒度差异，后续符号再逐步细分文档。

Bottleneck-Minimal Indexing 框架 — 图 2. BMI 按请求分布组织文档，使索引前缀逐级保留任务相关信息。

实验不仅比较最终检索精度，还估计不同索引在 $I(X;T)$ – $I(X;Q\mid T)$ 平面上的位置。BMI 的经验曲线更接近左下边界，说明改进不是单纯来自更大的簇或更长的标识，而是相同码率下减少了请求相关信息的损失。消融实验也显示，生成请求、真实请求和文档片段提供互补信号。

在 MARCO Lite 的 T5-mini 设置下，BMI 将 Rec@1 从 7.09 提升至 13.54，绝对提升 6.45 个百分点、相对提升约 91%；在 NQ320K 上绝对提升 7.06 个百分点。T5-base 上仍有提升，但幅度分别缩小到 3.72 和 1.26 个百分点。这一容量依赖关系与信息瓶颈解释一致：模型越小，索引如何分配有限码字越重要；在保持相同检索网络和训练预算时，仅改变索引构造即可释放有限参数中的任务容量。

文档作为条件生成分布

索引问题回答“有限码字应保留什么”，但仍需要定义文档之间的语义失真。现有聚类通常先由一个编码器生成向量，再在欧氏空间中应用 k-means。这相当于假设文档语义在所选嵌入中接近单峰高斯；对于短文本、隐含知识或一篇文档包含多个潜在主题的情况，这一假设过强。若生成模型与嵌入模型不同，索引阶段和检索阶段还会使用不一致的语义几何。

另一种表示是条件生成分布 $p(Y\mid x)$ ：所有可能生成文本 $Y$ 的概率共同描述文档能够激活的事实、解释和语境。文档中没有显式出现、但能由模型可靠补全的知识也进入表示；多种可能的续写则自然保留多峰结构。簇中心不再是向量均值，而是能够共同解释簇内文档的生成分布。

在 AAAI 2025 论文中，文档与簇中心之间的失真定义为 $\mathrm{KL}\!\left[p(Y\mid x)\,\|\,p(Y\mid k)\right]$ 。这一目标属于 Bregman hard clustering，并给出交替分配与闭式簇中心更新；每次迭代不增加目标，因此收敛到局部最优。真正的计算困难是 $Y$ 包含所有有限长度文本，是无法枚举的无限离散空间。

我们采用正则化重要性采样：所有文档共享 proposal $\phi$ 生成的样本，再评估各条件分布对这些样本的概率。共享样本让文档间距离可比较，但标准 importance weight 在 proposal 与目标分布不匹配时具有极高方差。指数 $\alpha$ 用于控制这一偏差—方差权衡：

\widehat d_{\alpha}(x,k) = \frac{1}{J}\sum_{j=1}^{J} \left(\frac{p(y_j\mid x)}{\phi(y_j)}\right)^{\alpha} \log\frac{p(y_j\mid x)}{p(y_j\mid k)} .

当 $\alpha=1$ 时，估计在样本数增长时渐近无偏；减小 $\alpha$ 会压缩极端权重，以有限偏差换取显著的方差下降。论文使用 $\alpha=0.25$ ，并对异常概率进行裁剪。在 R2 消融中， $\alpha=1$ 时 NMI 仅为 25.8， $\alpha=0.25$ 时达到 77.8，显示有限样本下稳定估计比形式上的无偏更关键。

生成式聚类在 R2、R5、AG News 和 Yahoo Answers 四个数据集上均超过所比较的向量聚类基线。它还可以直接替代 BMI 中的层次聚类，形成 Generative Clustering Indexing：在同一个 30M 参数检索模型上，MS MARCO Lite 的 Rec@1 从 23.78 提升至 32.41，NQ 从 55.17 提升至 56.40。这说明条件生成分布不仅适合离线语料分析，也能改变下游离散码本的可检索性。

从静态语料到可更新知识系统

这两项工作构成同一条技术路线：以请求相关信息决定压缩目标，以条件生成分布定义语义失真。前者回答“哪些信息值得进入有限索引”，后者回答“在生成模型所隐含的知识空间中，文档之间相差多少”。二者共同把启发式的 docid 设计转化为可分析的率失真问题。

当前限制也来自概率估计本身： $p(Q\mid X)$ 的偏差会沿层次索引传播；生成式聚类需要对“文档数 × 样本数”的概率矩阵进行评估；固定 proposal 和 $\alpha$ 未必适合所有多峰分布。数据漂移时，重新生成全部请求和码本的成本也可能过高。因此后续重点是自适应 proposal、增量簇中心、可变码率索引，以及参数记忆、外部索引与上下文窗口之间的联合容量分配。

相应方法可用于容量受限的生成式检索、大规模语料组织、面向 RAG 的可更新知识码本，以及跨语言和多模态语义聚类。进一步的问题是如何在参数记忆、外部索引与上下文窗口之间分配总信息容量。

语义压缩与聚类

生成式检索中的信息瓶颈

由请求分布构造离散索引

文档作为条件生成分布

从静态语料到可更新知识系统

相关论文与代码