Redis 创始人 Salvatore Sanfilippo 近日公开反驳了中国大模型靠蒸馏美国模型变强的说法。他认为,普通 API 调用只能返回文字答案,无法获取模型生成答案时的概率分布和内部状态,单靠少量外部调用根本不可能复制一个前沿模型的核心能力。
正文解读
大模型真正的逻辑推理与思考能力隐藏在极其复杂的神经网络内部。通过 API 接口,外部用户只能拿到最终答案,却无法获知完整的思考路径和概率计算过程。这好比只看几道题的期末答案,根本无法倒推出老师脑海中庞大的知识体系。以 DeepSeek 为代表的中国大模型之所以快速崛起,依赖的是数据预训练和强化学习等底层工程的扎实积累,而非走捷径。
学术界将大模型蒸馏细分为依赖概率分布的「软蒸馏」和仅依靠文本答案的「硬蒸馏」。软蒸馏本身是常规后训练手段,无法通过 API 调用轻易实现,当下的争议主要集中在硬蒸馏上。大厂真正极力防范的,是对手利用越狱和诱导提示,强迫模型输出本被产品隐藏的推导草稿、验证步骤与自我纠错过程。这些详细步骤虽仍是文字形式,并非底层概率分布,但足以帮助竞争对手在强化学习中省去数亿美元的盲目探索成本。然而,输出详细推导过程是推理模型维持高智能的核心属性,一旦为了防盗而强行屏蔽,模型性能就会严重下降。
大厂急于将服务违约和 API 滥用界定为安全层面的「攻击」,深层动因在于版权法律的空白。在现行法律框架下,AI 生成的文本并不享有版权,大厂无法阻止对手合理使用这些文本作为训练语料。这意味着领跑者在商业上面临「自己承担高昂的强化学习探索成本,却无法阻止对手合法利用数据追赶」的硬伤。因此,大厂倾向于在公关和政策层面将竞争行为包装成「蒸馏攻击」,以此寻求道德同情和立法保护,试图维护自身的先发壁垒。
展望来看,围绕蒸馏与反蒸馏的博弈仍将持续,但技术层面的攻防只是表象,版权立法和行业规则的完善才是决定竞争格局的关键变量。对追赶者而言,硬蒸馏的边际收益会随着领先者防护升级而递减,底层工程和原创能力的积累才是长久之道。
原创文章,作者:admin,如若转载,请注明出处:https://www.23btc.com/190568/



