ICML 2024 Oral · Semantic Compression & Clustering

Bottleneck-Minimal Indexing for Generative Document Retrieval

Xin Du · Lixin Xiu · Kumiko Tanaka-Ishii

把生成式文档索引建模为任务相关的信息瓶颈，并由请求条件分布决定离散索引结构。

Paper · arXiv Code · GitHub Research · 语义压缩与聚类

索引不是文档的缩略图

生成式文档检索不再先生成稠密向量并执行最近邻搜索，而是为每篇文档分配一段短离散码，再训练序列到序列模型把请求直接翻译为该码。索引既是文档标识，也是检索模型必须学习的输出空间。码字如果没有结构，模型需要记忆近乎任意的“请求—编号”对应；码字如果只按文档内容聚类，又可能保存大量不会影响真实检索的信息。

问题的关键因此不是怎样更准确地压缩文档，而是 为了请求而压缩什么。两篇主题相近的文档可能回答完全不同的问题，两篇措辞不同的文档也可能由同一类请求访问。以文档嵌入距离构造层次索引，默认“内容相似”可以替代“请求行为相似”，但这不是生成式检索目标本身推出的结论。

生成式文档检索中的文档、离散索引与请求 — 生成式检索把文档压缩为可生成的离散索引；索引结构直接决定请求到码字的学习难度。

信息瓶颈给出的索引目标

设文档为 $X$ ，离散索引为 $T$ ，请求为 $Q$ 。如果只最小化索引保留的文档信息 $I(X;T)$ ，最优解会把所有文档映射到同一常数，得到没有检索能力的退化编码。BMI 加入任务约束：索引应尽量短，同时保留从文档推断请求所需的信息，

\min_{p(T\mid X)} I(X;T) \qquad \mathrm{s.t.}\quad I(T;Q)\geq \varepsilon .

在 Markov 关系 $T\leftrightarrow X\leftrightarrow Q$ 下，这等价于权衡码率与条件互信息失真 $I(X;Q\mid T)$ 。后者度量把多个文档合并到同一索引后，丢失了多少与请求相关的信息。沿不同索引方案移动，可以得到一条检索任务自己的 information bottleneck curve；位于左下边界的方案，在同等索引容量下造成最小请求失真。

变分求解得到的平稳条件进一步揭示了索引几何：

p^\ast(T\mid X) =\frac{p^\ast(T)}{Z(X,\beta)} \exp\!\left[ -\beta D_{\mathrm{KL}}\!\left( p(Q\mid X)\,\|\,p(Q\mid T) \right)\right].

文档是否共享索引，由它们的请求条件分布决定。传统的文档聚类只有在文档距离能够近似上述 KL 失真时，才是这个目标的合理替代。

从理论目标到可训练索引

真实的 $p(Q\mid X)$ 未知，也可能是多峰分布。论文在高斯近似下，把每篇文档表示为其相关请求的平均 BERT 表征 $\mu_{Q\mid x}$ ，再执行层次 $k$ -means。树的每一层产生一个数字，根到叶的路径组成前缀码；请求分布相近的文档共享更长前缀，使生成模型能够复用局部决策。

请求样本来自三个互补来源：数据中的真实请求、docT5query 生成的请求，以及从文档中抽取的片段。前两者直接逼近用户可能提出的问题，文档片段则补充短请求没有表达的实体和上下文。MARCO Lite 的消融实验中，仅使用文档表征的 T5-mini Rec@1 为 7.09，加入生成请求后为 9.24，再加入真实请求为 10.03，三者与文档片段共同使用达到 13.54。这说明“请求驱动”并不等于丢弃文档，而是让所有信号服务于同一个条件分布估计。

Bottleneck-Minimal Indexing 的信息瓶颈建模与层次索引构造 — BMI 先以请求条件分布定义信息失真，再用层次聚类把相近分布编码为共享前缀。

容量受限时，索引结构更重要

实验在 NQ320K 与 MARCO Lite 上使用 NCI 的 T5 与 PAWA 解码架构，只改变索引构造方式。在 T5-mini 上，NQ320K 的 Rec@1 从层次文档聚类的 41.43 提升至 48.49；MARCO Lite 从 7.09 提升至 13.54，相对提高 91%。当模型扩大到 T5-base，两个数据集仍分别提高 1.26 和 3.72 个百分点，但增幅缩小。

这一容量效应与信息瓶颈解释一致。大模型可以用参数记忆一部分不规则映射，从而补偿较差的索引；小模型没有足够容量绕过码字结构，索引是否对齐请求分布会直接决定可学习性。相同现象也出现在 bottleneck curve 上：模型越大，能够越接近低码率、低失真的边界；在固定模型容量下，请求驱动的索引比随机编号、LSH 和普通层次 $k$ -means 更靠近这一边界。

BMI 在 NQ320K 上以 66.9 的 Rec@1 接近当时使用额外学习式索引程序的 GENRET 和 NOVO，也与静态数字索引的强基线相当。方法的贡献不在于引入更大的检索模型，而在于说明索引本身应当由检索任务的信息结构推导。

方法的边界

BMI 把生成式索引从启发式文档聚类转化为任务相关的语义压缩问题。理论上，最优几何由完整的 $p(Q\mid X)$ 及其 KL 散度决定；当前实现用有限查询、BERT 均值、高斯假设和层次 $k$ -means 近似这一目标。请求分布高度多峰时，均值会抹去结构；新文档加入或用户请求发生漂移时，静态树形索引也需要更新。

这些限制同时指出后续方向：直接在生成分布上计算失真、为动态语料设计可重分配码，以及将模型容量、码长与召回率放在同一 rate–distortion 分析中。BMI 的核心结论仍然成立——文档索引的质量不应由它复原了多少文档内容判断，而应由它保留了多少完成检索所需的信息判断。

← 语义压缩与聚类