合成数据喂不饱AI——自噬困境与互联网数据枯竭

导语： 合成数据曾被视为解决数据稀缺问题的关键路径——既然互联网上的真实数据有限，那用模型生成无限的数据不就行了？这个逻辑看起来成立，但在实践中遭遇了一个根本性的障碍：模型自噬。专知智库《推理数据白皮书》系统分析了合成数据的自噬困境与互联网数据的枯竭趋势。

正文：

合成数据的自噬困境。 合成数据是指通过生成模型人工制造的数据。当模型用自己生成的数据训练时，误差会累积、分布尾部会丢失、深层规律会退化。这个现象被称为“模型自噬”或“模型崩溃”。

自噬困境的核心机制是“误差累积”。假设一个模型在生成数据时，对某个特定问题存在1%的系统性偏差。当模型用这些数据训练新一代模型时，新一代模型会继承这1%的偏差，并且在生成新数据时可能将其放大到2%。经过十轮迭代，偏差可能扩大到10%以上。

自噬困境在统计上表现为“分布尾部丢失”。真实数据的分布通常有一个“中心”和一个“长尾”。模型生成数据时，倾向于生成更多中心样本，忽略长尾样本。长尾丢失的后果是模型对“异常情况”的判断能力下降——而这恰恰是AI在医疗、金融、制造等关键领域中最需要的能力。

互联网数据的枯竭。 全球AI实验室在过去几年中，已经把互联网上几乎所有可公开访问的文本、代码、论文、书籍都用于模型训练。与此同时，新增互联网数据中AI生成内容的占比越来越高。到2026年，新增互联网内容中AI生成的比例可能超过50%。互联网数据的“污染”，使自然数据的边际价值快速递减。

AI实验室的真实需求。 AI实验室不需要“更多问答对”，不需要“更多选择题”，而是需要“专家如何从初始问题走到最终结论的完整认知过程”。Mercor向OpenAI、Anthropic、Meta出售专家推理数据，年化收入约5亿美元，估值100亿美元，证明了推理数据的真实需求和市场空间。

推理数据是AI的下一个石油。谁先掌握推理数据的生产标准和交易网络，谁就掌握AI进化的下一个十年。