涌价值涌现小付的笔记
← 全部文章
小付的笔记 / 人工智能 · 技术观察

蒸馏攻防战:美式闭源高墙 vs 中式技术突围

价值涌现首发于 约 17 分钟— 次阅读
蒸馏攻防战主题封面

01蒸馏风暴:美国官方和 Anthropic 直接点名国模

2026 年 9 月上旬,关于中美大模型技术竞争的争议在数天内连续升级。

9 月 8 日,美国网络安全和基础设施安全局(CISA)、联邦调查局(FBI)与国家安全局(NSA)联合发布编号为 AA26-251A 的网络安全顾问通告,正式指控多家中国人工智能开发机构通过系统性手段,对美国前沿大模型实施未授权的知识提取。通告将这一行为定性为对美国商业知识产权的恶意规避。

两天后的 9 月 10 日,美国人工智能企业 Anthropic 发布了一份长达 154 页的威胁情报报告,题为《检测与反制 AI 滥用:2026 年 9 月》(Detecting and countering misuse of AI: September 2026)。与以往主要围绕网络攻击或违规账号的常规通报不同,这份报告开辟了专门章节,用极为具体的监控数据、账号集群代号与案例记录,直接点名了七家中国头部大模型研发主体。

报告中记录的案例涉及阿里巴巴、月之暗面、DeepSeek、智谱、MiniMax、小米以及商汤科技。Anthropic 为不同主体的行为分配了威胁追踪编号:

阿里巴巴关联集群被标记为 GTG-16005。Anthropic 称其在 2026 年 5 月至 7 月期间,动用了超过 3500 个虚假账户,累计发起约 1.51 亿次交互,单日最高请求量达到 300 万次,重点获取 Claude Opus 4.6 与 4.7 的思维链推理记录,涉及软件工程、内核开发和复杂智能体任务。Anthropic 将其定义为自身监控历史上规模最大的一次提取活动。

月之暗面被标记为 GTG-16002。报告称其在 5 月至 7 月间产生了 2300 万次交互,通过分布在新加坡、日本等地的 5380 个账户进行代理访问,并且在一个十天的统计窗口内,将近 30 万条来自真实用户的请求重定向至 Claude Opus。

DeepSeek 被标记为 GTG-16001。Anthropic 指控其在 2026 年 7 月的前 14 天内产生超过1210 万次交互,系统识别出带有 Claude Code、OpenCode 等编程工具标识的开发者请求后,同样将其转发至海外模型。

智谱被标记为 GTG-16006,涉及 273 个轮换账户及 340 万次思维链提取;小米被标记为GTG-16008,涉及约 40 万次编码与对话请求转发;MiniMax 在 GTG-16003 中被指控通过关联公司搭建中转服务收集模型调用轨迹;商汤科技则在 GTG-16012 中被指称向第三方数据商采购了海外模型的用户对话日志。

文中所述 Anthropic 报告的主要指控对象与交互规模

面对美方机构与企业的集中指控,中国商务部在随后的回应中指出,相关指责缺乏事实依据,模型蒸馏本身是全球人工智能领域普遍采用的基础研究与训练方法,不能将其政治化或单方面定性为恶意攻击。月之暗面等被点名公司也公开表示,旗下前沿模型的核心能力来自自研架构与工程优化,并非对海外竞品的复刻。

这份报告将争议的焦点从过去单纯的违反用户协议,推进到了企业欺诈与跨境数据安全的高度,给整个中国大模型产业带来了较强的外部压力。

02模型蒸馏的本质:常规路径与技术分歧

到底什么是蒸馏?

蒸馏概念最早于 2015 年由图灵奖得主杰弗里·辛顿(Geoffrey Hinton)引入深度学习领域。在常规的监督学习中,如果模型只学习由人类标注给出的确定答案,获得的信息仅限于离散的标签。例如在图像识别中,标准答案将一张图片标记为猫,这被称为硬标签。但一个参数量巨大的优秀模型在做出判断时,其输出层呈现的是一组完整的概率分布:可能是 70% 概率为猫,20% 概率为狐狸,9% 概率为狗,1% 概率为毛巾。

知识蒸馏原理:蒸馏方在提取什么

这种分布中包含了类别之间的相似度关系与否定信息,辛顿将其定义为暗知识,输出的分布则被称为软标签。辛顿的早期实验显示,仅使用 3% 的训练数据,让小模型学习软标签后取得的准确率,能够逼近使用全量数据学习硬标签的表现。知识蒸馏的核心价值,就是把大模型提炼出来的规律与能力,迁移到参数规模更小、推理成本更低的学生模型中。

在实际研发中,蒸馏主要分为三类操作方式:

白盒蒸馏、黑盒蒸馏和在线反馈蒸馏三种路径

第一类是白盒蒸馏。开发者能够直接访问被蒸馏方本体,提取模型在每个词元上的完整概率分布,让蒸馏方在参数层逐词对齐。这种方式通常发生在单一机构内部,例如科技巨头用自身训练的万亿参数基座模型去蒸馏轻量版小模型。

第二类是黑盒蒸馏。开发者无法获取被蒸馏方的底层权重和输出概率,只能通过应用接口向模型提交提示词,收集模型返回的文本答案或者思考过程,再将这些问答样本加工整理为训练数据集,用于微调自己的模型。目前外部引发争议的模型调用,绝大部分属于此类操作。

第三类是在线反馈蒸馏。先用自家模型自主生成答案,再由被蒸馏模型对过程和结果进行逐段打分与修正,以更低的算力开销辅助强化学习。

大模型厂商如此广泛采用蒸馏技术有着非常直接的动因。除了不可逾越的算力瓶颈外,经济成本也是非常重要的因素。训练一个前沿基座模型的资金投入通常达到数千万乃至数亿美元,而借助成熟模型的输出生成几十万条高质量指令微调训练模型,所需要的调用开销通常只有数千至数十万美元,两者的资金成本存在数个数量级的差距。同时,轻量模型在推理阶段消耗的算力远低于基座模型,使得模型能够被部署在移动终端或低成本云服务器上。各厂商 Flash 版、Llama 小尺寸版本等层出不穷,蒸馏早已是全球人工智能实验室普遍采用的标准工艺。

为什么都想蒸馏:训练与调用模型的成本对比

早期业内很多蒸馏方式采取的是在简单粗暴的硬蒸。也就是建立大规模提示词库,单向、机械地从单个前沿模型中抽取海量生成文本,然后直接用于自研模型的监督微调。这种做法本质上是低水平的样本搬运。由于自家模型只是被动背诵先进模型的输出,无法真正理解推理逻辑背后的结构,一旦先进模型发生调整,或者面对训练集分布之外的全新问题,自家模型就会暴露出能力缺陷。行业内关于策略内蒸馏(On-Policy Distillation)的研究也表明,蒸馏能够成功的关键前提是蒸馏模型与被蒸馏模型具备兼容的认知结构,且被蒸馏模型能够提供学习者尚未掌握的新知识,机械复制并不必然带来能力跃升。

随着技术和认知的不断进步,蒸馏方式开始往「聪明」的方向演进。腾讯混元负责人姚顺雨曾在访谈中提过所谓「聪明蒸」的概念,即将蒸馏作为一种系统化的训练过程。研发团队往往同时调用多个不同架构、不同语言分布的模型,让某一个模型负责生成初始推理,另一个模型充当评估裁判,第三个模型负责边界验证,再结合自研规则与代码执行环境完成逻辑验证。这种做法在本质上利用了模型训练与推理之间的巨大成本差异,属于一种算法层面的技术套利,并推动了多智能体协作训练的发展。

硬蒸与聪明蒸的方法对比

虽然蒸馏有这么多好处,但对于蒸馏是否必要,国内也存在着路线分歧。

一个典型的反例来自字节。在此前的 Seed 团队的全员会议上,张一鸣曾明确要求团队不得将蒸馏视为提升基础模型能力的走捷径手段,即使这会导致自研大模型在短期榜单表现上落后于同行。字节内部甚至建立了严格的过滤检测机制,不仅限制吸纳美国闭源模型的输出,也禁止直接蒸馏国内的开源模型。这一决定的背后,反映了其一贯的延迟满足逻辑:蒸馏更偏向于追赶型工具,如果研发团队长期依赖现成答案,就会削弱自身在预训练底层架构、数据清洗和基础认知突破上的探索能力。

可以看出,面对海外前沿模型的性能壁垒,中国大模型产业内部的技术突围尝试并非单一路径。无论是以系统化多模型协作提高训练效率,还是坚持自研基座模型的路线,都体现了国内大模型团队在外部资源受限环境下努力突围的进取心。

03闭源高墙与反蒸馏博弈

随着前沿模型企业对知识产权与市场份额的保护意识增强,围绕蒸馏与反蒸馏的技术对抗正在快速升级,一座由算法加密、行为风控与本土保护主义的美式闭源高墙正在成型。

以 Anthropic 为代表的闭源模型厂商,开始在服务端部署更细致的行为检测与拦截策略:

其一是在请求模式上建立特征画像。普通商业用户或个人开发者的提问通常围绕具体业务任务展开,交互具有间断性与局部性;而从事蒸馏采集的账户,往往会按照预设的大纲系统化地遍历特定领域的知识点,或者持续要求模型输出每一步的推理逻辑与自我验证过程。服务商会根据此类提问的上下文深度和拓扑结构,自动标记并封禁异常账户。

其二是针对推理链条的技术防御。为了防止模型内部的思考过程被直接作为强化学习的数据源,Anthropic 在新模型中推行了思考摘要机制,对返回给用户的思维链进行压缩;并在新近测试的Fable 5.1 等模型中引入了加密思考机制(preserved thinking),限制新建立的应用接口账户改动系统提示词,防止提示词诱导泄露模型原本的思考全貌。更深层次的防守策略甚至包括商业模式的重构,例如考虑在未来的前沿版本中逐步取消开放式的计算词元调用接口,改为按业务结果计费交付,从源头上切断大批量获取中间训练数据的可能。

面对这些防守壁垒,外部的数据采集策略也在演变。早期直接要求模型输出原始推理的指令由于特征过于明显,已被更隐蔽的多轮对话所替代。采集方通过在提示词中掺入无关的日常问答来模拟真实用户行为,并通过海外住宅代理网络分散访问流量。针对思考摘要的限制,部分开发团队则设计了二次诱导对话,要求模型根据摘要特征还原完整的解题逻辑。此外,借助第三方中转代理服务获取各行业用户的真实交互日志,也成为避开官方接口直接监控的一种数据获取途径。

这种攻防对抗带来的直接后果是数据获取成本的显著抬升。过去通过少量接口交互即可获取一条可用训练样本,如今为了规避安全风控,往往需要穿插数倍的混淆请求,并承担更高的海外代理节点开销与封号损失。业内测算显示,当前实施深度采集的综合成本相比过去已经上升了 10 至20 倍。蒸馏不再是一项成本可以忽略的便利手段,以后将不得不考虑权衡投入产出比。

蒸馏攻防战:采集方与被蒸馏方的攻守变化

相比于技术层面的封堵,中国模型厂商面临的更严峻挑战来自监管审查与商业客户的信任危机。

Anthropic 报告对中国厂商最致命的指控,并不在于常规的模型训练借用,而在于所谓的在线静默转发。报告声称部分厂商在用户不知情的情况下,把终端用户的实际请求实时转交给海外模型处理,并将生成的回复直接呈现给用户。

如果这一指控属实,其性质就从单纯的知识产权纠纷,转变为违背商业承诺、误导用户并导致国内数据非正常出境的安全事件。尽管该指控目前仅属于海外单方分析,缺乏第三方的技术审计支持,但它客观上加剧了企业客户的顾虑。

当前中国大模型的主流落地场景已经从早期的消费端聊天尝试,深入到金融、能源、以及大型制造业的核心业务流程中。这些机构对于数据主权、业务机密和合规监管有着极高的敏感度。客户之所以采购本土模型服务,首要前提就是保证业务数据完全保留在合规受控的边界之内。

Anthropic 报告的发布,迫使中国模型厂商必须向监管机构和重点行业客户自证清白。为了消除市场疑虑,厂商必须建立更严格的内部数据追踪与权限管控体系,接受来自独立第三方的信息安全审计,明确证明平台不存在外部非法路由请求的机制。这一趋势也正在重塑国内市场的交付形态:越来越多的关键行业客户开始回避公有云应用接口调用模式,转而要求厂商提供完全离线的私有化部署方案,以物理隔离的方式确保数据安全。合规流程的增加与组织机制的重构,势必会在一定程度上增加国内厂商的运营和研发成本。

04开源 vs 闭源:对立还是共生?

美式闭源高墙不是今天才开始建的,但从实际情况来看,闭源并未能彻底隔绝技术的双向流动。中美两国在大模型领域并不是相互隔绝的孤岛,而是呈现出一种既激烈竞争又高度交织的共生结构,可以看到不少中式技术突围的成果也借由开源网络回流。

中美大模型产业与开源生态的循环关系

一方面,中国开源大模型正在以前所未有的速度渗透进西方的应用开发生态。在海外知名模型聚合平台 OpenRouter 上,中国大模型处理的 token 份额在短短 18 个月内从不足 2% 跃升至超过 40%。ALBB 的 Qwen 系列成为全球开源社区下载增速最快的模型家族之一,被大量海外中小型初创企业选作基础底座。

甚至在部分知名的美国人工智能垂直应用中,也能看到中国开源模型的痕迹。行业研究机构指出,部分主打代码辅助与法律智能的企业级产品,在底层架构设计或后训练阶段,广泛采用了来自中国的优秀开源模型权重作为调优起点。全球技术链条由此形成了一个具有讽刺意味的循环:美国前沿实验室投入巨资预训练基座模型,部分参数特征与逻辑模式通过公开交互流入开源社区;中国团队在此基础上结合深度的工程优化进行二次训练并开源;随后,美国的初创公司再将这些开源模型重新包装为企业服务,销售给本土客户。

开源模型在客观上打破了闭源产品的价格壁垒,为全球开发者提供了更低廉的计算选择,然而开源模型开发者本身往往承担了昂贵的数据清洗、模型对齐和算力支出,实际产生的商业利润却大部分被提供模型托管与算力服务的海外超大规模云计算服务商获取。中国开源模型在实质上为海外应用生态承担了生产成本,却未能同步获得对称的商业价值回报。

另一方面,中美两国的模型研发面临着完全不同的制约因素,中国缺「芯」,美国缺「电」。

中美 AI 的瓶颈:算力与电力

中国的核心制约是算力硬件。受到高端半导体出口管制的影响,国内研发机构长期无法自由采购最先进的加速计算芯片,算力集群规模受到刚性约束。但这种资源稀缺客观上倒逼出了一套极致的工程优化文化。中国工程师被迫深入到底层编译逻辑、算子优化与异构通信架构中,通过在硬件底层直接编程、精细调度流处理器与节点间通信带宽,在性能受限的计算集群上完成了大规模模型的预训练。

相比之下,美国头部实验室凭借雄厚的资本支持,掌控着全球最大规模的尖端计算芯片库存,但其瓶颈是电力能源供给与基础设施接入。大模型数据中心的建设对电力负荷提出了极高要求,美国电网由于审批流程漫长与变电设施扩建滞后,许多大型计算中心的通电排队周期长达数年。中国在电力总装机容量与电网高压输送网络上的基础设施优势,构成了与美国计算硬件优势相互对照的另一面。这种 AI 发展必备要素的错配,决定了任何单方面的封锁或制约都无法迅速终结这场长期的系统性竞争。

05从技术套利到自主突破的必由之路

蒸馏作为一种经典的机器学习工程手段,在合规框架内利用大模型压缩知识、优化终端效率,是推动人工智能普惠的重要途径;但依靠隐蔽手段大规模抓取外部单一模型的行为,也确实暴露了部分追赶者在自研技术方向上的短视。

苹果公司在关于蒸馏规模定律的研究中明确指出,在算力资源充分的前提下,完全从原始数据预训练的模型在最终性能上限上必然超过纯粹依赖蒸馏的模型。《自然》杂志刊载的学术成果也同样警告,由人工智能生成的数据反复训练新的人工智能,会导致模型出现不可逆的信息退化,罕见领域的长尾知识会最先丢失,先进模型的幻觉缺陷也会在后代模型中被固化和放大。蒸馏能够高效地压缩与迁移现存的智能,却无法自主探索出新的能力。

DeepSeek 在技术论文中对这一问题给出了极为客观的总结:蒸馏是一项极其经济且有效的工具,但若要突破整个人工智能能力的边界,依然需要依靠更大规模的自研基座模型与自主强化学习探索。

Anthropic 报告所引发的风暴,或许正在成为中国大模型产业发展的一个分水岭。过去依靠信息差与接口便利进行低成本技术套利的窗口正在迅速收窄,不断加固的美式闭源高墙与日趋严格的国内外数据合规审计,将迫使所有参与者回归自主突破的道路。

在蒸馏攻防战的下半场,中式技术突围的重心必然会发生转移。大模型的护城河,最终不会提取其他模型的技巧之上,而是取决于对只有自研才能产出的差异化能力,以及模型在具体行业场景中的商业化变现能力。摆脱路径依赖,扎实投入基础研究与工程基础设施建设,才能真正完成从依赖捷径到自主创新的突围,确立属于自己的技术根基。

— 全文完 —

查看公众号原文 ↗