AAAI 2025 · Semantic Compression & Clustering

Information-Theoretic Generative Clustering of Documents

Xin Du · Kumiko Tanaka-Ishii

将文档表示为条件生成分布，并在无限离散文本空间上直接优化生成分布之间的 KL 聚类失真。

Paper · arXiv Code · GitHub Research · 语义压缩与聚类

从单点表示转向生成分布

文档聚类通常先把每篇文档压缩为一个向量，再按欧氏距离或余弦距离分组。这一步便于计算，却预先规定了文档只能由单个点表示。对于稀疏文本，许多与主题有关的知识没有显式出现；同一文档也可能对应多种请求、改写和解释。把这些可能性平均进一个向量，容易丢失多峰语义以及簇之间真正有区分力的方向。

生成语言模型提供了另一种表示。给定文档 $x$ ，模型定义所有可能文本 $Y$ 上的条件分布 $p(Y\mid x)$ 。生成出的若干句子只是这个分布的样本；表示本身包含模型对每一种潜在请求或描述的概率赋值。文档聚类由此可以写成概率分布聚类：为每个簇 $k$ 建立中心分布 $p(Y\mid k)$ ，并最小化

\sum_x D_{\mathrm{KL}}\!\left( p(Y\mid x)\,\|\,p(Y\mid f(x)) \right).

KL 散度使语义差异与生成概率直接相连，也允许一个文档沿多个潜在文本方向接近或远离簇中心。这比“先生成文本、再用 BERT 编码并做 $k$ -means”更完整；后者仍把多峰分布重新压回单个高斯式向量，而且生成模型与编码模型的几何未必一致。

无限文本空间上的计算困难

上述目标定义清楚，但不能直接计算。 $Y$ 是无限离散空间，簇中心未知，对每个文档枚举全部文本更不可能。论文从共享 proposal $\phi(Y)$ 采样 $J$ 个文本，并用重要性采样估计文档到簇中心的失真：

\widehat d_{\alpha}(x,k) =\frac{1}{J}\sum_{j=1}^{J} \left(\frac{p(y_j\mid x)}{\phi(y_j)}\right)^{\alpha} \log\frac{p(y_j\mid x)}{p(y_j\mid k)} .

proposal 通过先均匀抽取文档、再从相应条件模型生成文本得到，使样本覆盖不同文档的高概率区域。簇分配与中心更新交替执行；中心在这些共享样本上的概率由簇内文档的正则化权重归一化得到。该更新具有 Bregman hard clustering 的结构，论文证明每次迭代不增加目标并收敛到局部最优。

真正困难的部分不是写出一个 Monte Carlo 平均，而是控制语言模型概率产生的极端权重。 $p(Y\mid x)/\phi(Y)$ 通常高度右偏，少量样本会支配无偏估计，使有限样本下的簇结构极不稳定。实现还对异常 log-probability 进行截断，并为 proposal 推导了降低总体估计方差的幂均值形式。

正则化重要性采样为何必要

当 $\alpha=1$ 时，估计在样本数趋于无穷时无偏；把 $\alpha$ 降低到 $0.25$ 会引入偏差，却显著压缩权重动态范围。聚类并不要求每一个 KL 数值都无偏，只要求文档之间的相对失真足够稳定，从而恢复正确分组。对严重偏斜的语言模型概率，方差下降带来的收益远大于有限偏差。

R2 数据集清楚展示了这一点： $\alpha=1$ 时 NMI 只有 25.8， $\alpha=0.25$ 时达到 77.8。继续把 $\alpha$ 降得更低，信息失真开始主导，性能再次下降。这里的提升并不是“新方法相对某个弱基线”的单一数字，而是同一估计器从无偏到正则化后的变化，直接验证了方法所依赖的偏差—方差机制。

样本量实验也给出实际尺度。小型数据集在 $J\geq50$ 后趋于稳定；最大规模的 Yahoo! Answers 在约 $J=384$ 后稳定，仍少于常见 BERT 表征的 $768$ 维。即使聚类数 $K$ 在 $2$ 到 $20$ 之间设定错误，方法仍持续优于所比较的 SBERT 聚类，说明结果并非只在已知真实类别数时成立。

文档聚类结果

论文在 R2、R5、AG News 和 Yahoo! Answers 上比较了 TF–IDF、BERT、SBERT 与深度嵌入聚类方法。生成式聚类在四个数据集的 ACC、NMI 与 ARI 上均取得最高结果。R2 上，ACC、NMI、ARI 分别为 96.1、77.8 和 84.9；AG News 上为 85.9、64.2 和 67.2；在规模更大、类别更细的 Yahoo! Answers 上，仍达到 60.7、43.7 和 35.5。

这些结果表明，条件生成分布提供的信息不只来自更强的预训练编码器。模型生成的请求式文本把文档中隐含但可推断的主题展开为概率结构，KL 目标再在同一生成空间中比较文档与簇中心。方法的收益来自表示和聚类目标的一致性。

从平面聚类到生成式索引

生成式文档检索需要层次聚类产生前缀码。进入某个子簇后，全局 proposal 对局部文档的覆盖会变差；论文因而重新估计局部 proposal $\widetilde\phi$ ，并按

r_j= \left(\frac{\widetilde\phi(y_j)}{\phi(y_j)}\right)^\alpha

重采样已有文本，无需重新计算完整概率矩阵。这个局部化步骤使每一层都在与当前子簇匹配的文本区域上估计 KL 失真。

在约 $30$ M 参数的相同 T5 检索模型下，只替换索引构造方法。MS MARCO Lite 的 Rec@1 从 NCI 的 17.91、BMI 的 23.78 提升到 32.41；相对 BMI 提高 36%。NQ320K 从 BMI 的 55.17 提升到 56.40。当样本数从 $4{,}096$ 降到 $1{,}024$ 时，MARCO Rec@1 仅从 32.41 降至 32.16；取消局部 proposal 则降至 30.37，验证了层次化估计中局部覆盖的重要性。

适用范围与计算代价

这项工作把大模型用于聚类的方式从“生成一个向量”推进到“使用完整条件生成分布”。它适合主题组织、层次语料索引和生成式检索，也为其他具有隐含多峰语义的对象提供了信息论聚类模板。

主要成本是计算每个文档—样本文本对的概率矩阵 $P$ 。状态缓存和低精度推理可以降低开销；论文在 R2 上使用单张 GPU 约十分钟完成该步骤，BF16 未造成显著性能损失。扩展到持续变化的大型语料时，仍需要增量更新 proposal、复用概率计算，并处理生成模型本身的偏差。 $\alpha=0.25$ 是多个实验中的稳健选择，但不是对所有模型和分布都最优的常数；有限样本下如何自适应控制有效样本量，仍是方法进一步扩展的关键问题。

← 语义压缩与聚类