清华、北大与字节:让小模型"教会"大模型思考,AI训练成本有救了？

这项由清华大学人工智能产业研究院（AIR）、清华大学计算机科学与技术系、北京大学以及字节跳动Seed联合开展的研究，于2026年7月发布在预印本平台arXiv，编号为arXiv:2607.05394v2。感兴趣的读者可通过该编号查阅完整论文。

**一个让人头疼的现实问题**

训练一个顶尖的AI推理模型，就好比让一个顶级厨师反复练习做菜——每道菜（每次回答）都要亲手做出来，然后请评审打分，再根据反馈调整手法。问题是，厨师越厉害、锅越大，每次练习就越费时费力。当AI模型越来越大，这种训练方式的代价也就越来越高昂。

具体来说，当前业界流行一种叫"强化学习加验证奖励"（RLVR）的训练方式，它让大模型自己生成大量答案，然后用可验证的方式给答案打分，再用这个分数来改进模型。这套方法非常有效，却有个硬伤——模型越大，每次生成答案的速度越慢，训练成本就越高。按照这个逻辑，每出一个更大更强的模型，就得重新从头做一遍高昂的强化学习训练，效率极低。

清华-北大-字节这支联合研究团队提出了一个聪明得多的替代方案：**既然在小模型上做强化学习便宜，为什么不先在小模型上练，然后把练出来的"经验"传授给大模型呢？** 这套方法被他们命名为"直接在策略蒸馏"（Direct On-Policy Distillation，简称Direct-OPD）。

---

**一、旧方法的困境：照葫芦画瓢为什么行不通**

要理解这套新方法的巧妙之处，得先搞清楚旧方法遇到了什么麻烦。

旧方法叫"在策略蒸馏"（On-Policy Distillation，OPD）。简单来说，就是让大模型（学生）自己先生成一段答案，然后参考小模型（老师）在同样问题上的回答方式，调整自己的表达。这就像一个资深厨师指导学徒：学徒先做一道菜，然后对照师傅的做法改进。

但这里有个致命的逻辑漏洞：当老师本身水平不如学生时，照着老师学只会把学生拉低。

研究团队用一个非常直观的实验说明了这一点。他们拿了一个叫R1-Distill-7B的大模型，它在AIME 2024这套高难度数学题上的正确率是56.7%。然后他们拿了一个经过强化学习训练的小模型JustRL-1.5B作为老师，这个老师的正确率只有51.3%——比学生还低。当他们用传统OPD方法让大模型去学这个小模型时，大模型的成绩从56.7%一路跌到了约50%。老师比学生差，学生却被迫降格模仿老师，结果越学越差。

这暴露了一个本质问题：传统蒸馏方法传递的是老师的"最终状态"，而小模型经过强化学习后的最终状态，是强化学习带来的进步与小模型本身能力上限的混合体。学生拿到的是一个混合了"有价值经验"和"能力天花板"的包裹，无法分辨哪部分该学、哪部分该丢弃。

**关键洞察在于：真正有价值的不是老师现在的样子，而是老师因为强化学习"变化了什么"。**

---

**二、核心创新：传递"变化方向"而非"最终状态"**

研究团队提出的解决方案可以用一个生动的比喻来理解。

假设有一个普通厨师（小模型训练前的状态）通过参加厨艺大赛（强化学习）变得更厉害了（小模型训练后的状态）。这位厨师学到的经验，具体体现为"他现在更倾向于多放盐、少放糖，更愿意先炒香葱姜再下料"——这些是他因为大赛训练而**改变**的习惯。一个本来就比他厉害得多的米其林大厨（大模型），显然不需要照着这个普通厨师的整体水平来学，但他完全可以借鉴这套"通过大赛磨炼出来的经验改变方向"，看看这些方向是否也能改善自己的厨艺。

Direct-OPD就是在做这件事。在数学上，这个"变化方向"被定义为：把小模型强化学习后的版本（πT）与它强化学习前的原始版本（πTref）做对比，计算两者的对数概率之差，即：

ΔT(y|x) = log πT(y|x) – log πTref(y|x)

这个差值，对于强化学习让小模型"更倾向于选择"的回答方式，数值为正；对于强化学习让小模型"更不倾向于选择"的方式，数值为负。通过这个差值，研究团队成功剥离了小模型本身的能力局限，只保留了"强化学习究竟教会了它什么"这一核心信息。

更巧妙的是，这个差值在数学上等价于小模型强化学习使用的那个奖励信号。这背后有一套深刻的理论支撑，与著名的DPO（直接偏好优化）方法使用同一个数学恒等式——在正则化强化学习框架下，模型在强化学习前后的对数概率之差，本质上等于训练它的奖励信号（差一个正比例系数和一个常数项）。换句话说，只要拥有小模型强化学习前后的两个版本，就相当于隐式地保存了训练它的奖励函数。一对检查点就是一个装着奖励信号的黑盒。

Direct-OPD的做法，就是把这个从小模型里提取出来的隐式奖励信号，应用到大模型自己生成的轨迹（rollout）上，同时用大模型的初始版本作为约束（KL惩罚项），防止大模型跑偏太远。整个过程完全不需要重新设计奖励函数，也不需要在大模型上跑稀疏奖励的强化学习。

在具体实现层面，这个序列级的"变化方向"可以被精确地分解到每一个生成的词元（token）上——对每个词，都能计算出"小模型的强化学习过程让这个词更受青睐了多少"，从而形成一个密集的、逐词的改进信号。实际训练中，为了控制计算量，研究团队只在大模型最有可能选择的那些词（top-k个候选词）上计算这个信号，并用一种叫做"Rao-Blackwellization"的技巧来降低估计的噪声，相当于把单次抽样的高方差猜测换成了基于完整候选集的加权平均，让信号更稳定。

---

**三、一个额外的工程难题：奖励信号的尺度对不上**

把小模型的改进信号传给大模型，还有一个棘手的实际问题：尺度不匹配。

小模型的强化学习是在特定的KL预算（β）下进行的，这个预算决定了小模型被训练时奖励信号的"幅度"。但这个幅度信息藏在两个检查点之间的差异里，大模型拿到这个信号时，根本不知道这个信号的"原始单位"是多少，也就无法确定自己的KL约束系数α应该设置多大。用一个比喻来说：小模型告诉大模型"向北走"，但没有说走多少步，走得太多或太少都会偏离正确轨道。

固定的α在不同的师生配对中表现差异很大——对某对师生有效的α，换到另一对可能就失效了。

研究团队为此设计了一个自适应KL控制器。它的逻辑很简单：在每次训练更新之前，先计算当前批次数据上那个密集奖励信号的均值（即大模型当前生成的候选词，平均而言被小模型的强化学习推向了哪个方向、推了多少）。如果均值为正，说明大模型目前落在小模型强化学习"鼓励"的区域，稍微加大KL约束，避免过度放大；如果均值为负，说明大模型在"被压制"的区域采样，稍微减小KL约束，让大模型有更多空间调整。这个控制器每步只做微小调整（乘以1±0.01），并限制α的范围在0.5到2.5之间，保持整体稳定。

本质上，这个控制器的目标是让密集奖励信号的均值向零靠拢——既不让大模型盲目追逐正信号，也不让它深陷负信号的泥沼，而是保持在一个信号可靠、改进有效的平衡区间。

---

**四、实验：这套方法真的有效吗**

研究团队围绕三个核心问题设计了实验，评测基准是极具挑战性的AIME 2024和AIME 2025竞赛数学题（每道题随机采样32次，取平均正确率）。

**第一个问题是：小老师能否真正提升超过自己水平的大学生？**

研究团队使用了两组师生配对，在评测上极为严格。第一组：以R1-Distill-1.5B（强化学习前）和JustRL-1.5B（强化学习后）作为老师对，用这对老师的改进信号来训练三个学生——R1-Distill-7B、Qwen3-1.7B和Qwen3-4B。其中，R1-Distill-7B的初始成绩（56.7%）和Qwen3-4B的初始成绩（72.5%）都已经远超老师JustRL-1.5B的成绩（51.3%），这是真正意义上的"学生超过老师后仍然能从老师身上学到东西"的考验。

结果令人印象深刻。Qwen3-1.7B从48.3%跃升至58.3%，提升了整整10个百分点，AIME 2025上也提升了6.4个百分点。Qwen3-4B从72.5%提升至77.6%，尽管基础已经很高，仍有5.1个百分点的增幅。R1-Distill-7B从56.7%提升至63.1%，提升6.4个百分点。全部三个学生都有显著提升，而且这些提升发生在学生本身已经强于老师的情况下。

第二组测试使用了完全不同来源的老师对——Nemotron-1.5B（训练前）和QuestA-Nemotron-1.5B（训练后），这对老师来自不同的训练数据和训练流程，目的是验证方法的普适性而非依赖特定老师。结果同样有效：Qwen3-1.7B在AIME 2024上提升了10.7个百分点，R1-Distill-7B提升了4.9个百分点。

这个结果有力地支持了研究团队的核心主张：Direct-OPD传递的是可复用的改进方向，而非对特定老师的模仿。

**第二个问题是：在相同的训练预算下，这套方法比直接在大模型上做强化学习更划算吗？**

研究团队设计了一个精心控制的对比实验。他们在R1-Distill-1.5B（小模型）上做了不同步数的强化学习（300步、600步、900步、1200步、1500步），然后分别把每个检查点作为老师，用Direct-OPD传给R1-Distill-7B。同时，他们也直接在R1-Distill-7B上做同样步数的强化学习作为对照。

在相同的强化学习步数下，走"先训小模型，再用Direct-OPD传给大模型"这条路，比直接在大模型上做强化学习的最终效果要更好。在AIME 2025上，后期的大模型转移点（T600到T1500）显著高于直接在大模型上做RL的对应点。

计算效率上的差距更为悬殊。在小模型上做1500步强化学习，用32张A100 GPU，大约需要160小时；而在大模型上做同样步数，则需要约320小时。Direct-OPD的转移阶段只需8张A100 GPU，大约4小时，几乎可以忽略不计。整条路线的计算量只有直接在大模型上做强化学习的一半左右，效果却更好。

Qwen3非思维模式的模型家族也验证了同样的规律：在Qwen3-1.7B上只做100步强化学习，然后把这个改进方向传给Qwen3-4B，最终在AIME 2025上达到了直接在Qwen3-4B上做强化学习能达到的0.635准确率。也就是说，在小模型上练很少的步数，就能让大模型达到自己辛苦训练的效果。

**第三个问题是：能否把来自不同老师的多个改进方向叠加起来？**

这个实验测试了一种更大胆的想法：不同的老师在不同的方面有所进步，能否通过依次使用不同老师的改进信号，让学生积累多位老师的收益？

研究团队对Qwen3-1.7B先用JustRL改进信号训练300步，然后切换到QuestA改进信号再训练300步。结果显示，两个阶段的收益是可以叠加的：第一阶段结束时，AIME 2024准确率从48.3%升至58.3%；经过第二阶段，进一步升至63.8%，累计提升15.5个百分点。AIME 2025上的累计提升达到10个百分点。这说明不同强化学习训练跑出来的改进方向可以像积木一样拼接，让学生依次消化来自不同老师的经验。

---

**五、深入分析：这套方法为什么能工作，边界在哪里**

研究团队还做了三组细致的分析实验，试图理解这套方法的内在机制。

第一组分析关注"老师和学生是否需要说同一种语言"。传统OPD研究发现，如果老师和学生的思维方式差异太大（比如一个用英文思考，一个用法文，同一个词在两人脑中的关联完全不同），蒸馏效果就会很差，成功的标志是学生的词汇选择越来越接近老师（top-k重叠率提升）。

Direct-OPD的情况恰恰相反。研究团队测量了训练过程中学生和老师在同一状态下"最可能选择的词"的重叠程度。对于模式相近的配对（同系列的R1-Distill），重叠率确实会上升，符合传统OPD的逻辑。但对于跨模式的配对（比如用QuestA老师训练Qwen3或R1-Distill-7B），重叠率始终保持在较低水平，不会上升，也就是说学生并没有在模仿老师的具体词汇选择。然而，这些跨模式配对的学生成绩同样显著提升了。

这证明Direct-OPD的工作机制不依赖于逐词模仿。它传递的是一个更抽象的改进方向，这个方向可以在学生自己的词汇空间里独立发挥作用，不要求师生说同一种"方言"。研究团队还检验了学生的输出熵（输出分布的均匀程度）是否因此崩塌，结果显示熵值保持稳定，没有出现分布退化或过度尖锐化的迹象。

第二组分析关注"用短的练习能否改变长期行为"。训练时，研究团队刻意把每次生成答案的长度限制在2000个词元（token）以内，大大短于实际推理时可能生成的长度。一个自然的担忧是：这种短期练习会不会只改变答案的前段，对后续的推理链条没有影响？

为了测试这一点，研究团队在固定的长篇回答（超过16000个词元）上追踪了一个指标：大模型在每个位置最可能选择的词，它们平均而言更符合强化学习后的老师（JustRL）还是强化学习前的老师（R1-Distill-1.5B）？这个指标会随着位置积累，形成一条"累积偏向曲线"。

结果显示，仅仅训练40步之后，用2000词元长度训练出来的模型，在远超2000词元的位置上，它的词汇选择同样向老师强化学习后的方向偏移了。短期练习确实泛化到了更长的推理链条上。有趣的是，用6000词元的长度训练，偏移幅度更大，但实际验证准确率反而更低（45.6% vs 48.8%）。研究团队对此的解释是：越到后期，大模型和小老师的分布差异越大，小老师给出的信号越不可靠；6000词元的训练让模型过多地接触了这些不可靠的后期信号，反而带来了干扰。2000词元的长度恰好抓住了可靠信号的有效范围，同时这个可靠信号又能泛化到更长的生成过程中。

第三组分析深入研究了KL约束系数的重要性。密集的逐词奖励信号非常有用，但只在大模型还在小老师"熟悉的领地"上采样时才是可靠的。一旦大模型跑到了老师和老师前身都觉得陌生的区域，两个老师对这些词的对数概率都很小，它们的差值就会变成一个很大但毫无意义的噪声信号——就像在地图的边缘测量两个指北针的指向差异，误差会被大大放大。

KL约束的作用，正是把大模型"拉住"，不让它漂移到这个信号不可靠的区域。KL太小，大模型乱跑，信号失真；KL太大，大模型被死死绑住，无法跟着改进方向移动。研究团队发现，不同师生配对的最佳KL值各不相同，没有一个通用的固定值。而自适应KL控制器在实践中表现更稳定，它会让密集奖励信号的均值趋近于零，这是大模型处于"信号可靠区间"的一个实用指标——当均值接近零，说明大模型既没有深陷正信号区也没有深陷负信号区，而是在改进方向上找到了平衡。

---

**六、与相关研究的关联**

这项研究站在几个重要研究方向的交汇处，值得稍作梳理。

在知识蒸馏领域，从早期Hinton提出的经典温度蒸馏，到近年专门针对大型语言模型的各种在策略蒸馏变体，传统方法都要求学生去模仿老师的最终分布或最终输出。Direct-OPD通过只提取老师的"变化量"，彻底绕开了老师能力上限对学生的束缚。

在弱到强泛化领域，这个问题问的是：一个弱监督者能否激发更强模型的潜力？以往的方法通常还是用弱模型的标签或分布来监督强模型，这从根本上就设置了一个能力天花板。Direct-OPD的做法不是让强模型去"学弱模型说了什么"，而是让强模型去"感受弱模型的强化学习改变了什么方向"，这个方向是超越弱模型本身能力的改进信号。

在隐式奖励领域，DPO系列方法发现，在KL正则化强化学习框架下，策略-参考对数概率之差等价于奖励信号，并利用这一点从偏好数据直接训练策略。Direct-OPD反向使用了同一个数学恒等式：给定一对训练前后的检查点，把这个差值读回来当奖励，应用到新的学生模型上。这是一个方向上的创新——从"用偏好数据训练策略"变为"从训练完的策略中读取奖励并迁移"。

---

**归根结底，这项研究说的是什么**

说到底，这是一项关于"经验能否被提炼并传授"的研究。过去，AI训练的一个隐含假设是：每个模型都要自己从头经历训练过程，才能把收益内化进自己的参数。这就像要求每位厨师必须亲手经历十年厨艺磨炼，才能达到大师水准，而别人练习出来的经验无法复用。

Direct-OPD打破了这个假设。它证明，强化学习跑出来的"经验"，可以以一种特殊的方式被提炼出来——不是提炼成老师的最终状态，而是提炼成老师的"变化方向"——然后在更强的学生模型上重新应用，同样能产生改进效果，而且改进的幅度可以超过老师本身。

这对AI训练领域的工程实践有实质性的影响。一个训练好的强化学习检查点对，不再只是用来被模仿的"终态模型"，而变成了一个可以被多次复用的"改进信号资产"。不同来源的多个这样的资产还可以顺序叠加，给同一个学生依次注入不同维度的改进。

当然，研究团队也明确指出了方法的局限性。当大模型生成的答案和小老师都不熟悉的内容大量重叠时，老师提供的信号就会失去可靠性，方法的效果会打折扣。最优的回答长度和KL约束强度目前仍然依赖于具体的师生配对，尚无一个通用的自动设置方式。这些都是未来研究值得继续探索的方向。有兴趣深入了解技术细节的读者，可以通过arXiv编号2607.05394查阅完整论文，其中包含了详细的超参数设置、评测协议和消融实验数据。

---

Q&A

Q1：Direct-OPD和传统知识蒸馏有什么本质区别？

A：传统知识蒸馏是让大模型去模仿小模型的最终输出分布，相当于照葫芦画瓢。Direct-OPD不模仿小模型现在的样子，而是提取小模型在强化学习前后的"变化方向"，只把这个变化方向传给大模型。当大模型已经比小模型强时，模仿小模型只会把大模型拉低，但借鉴"变化方向"则完全不受小模型能力上限的约束。

Q2：Direct-OPD为什么能用小模型的经验改进比它更强的大模型？

A：关键在于小模型经过强化学习产生的"策略位移"在数学上等价于训练它的奖励信号。这个奖励信号描述的是"什么样的答题方向是好的"，这个判断本身并不受小模型能力限制。大模型在自己的回答轨迹上应用这个方向信号，相当于借用了小模型强化学习发现的改进方向，在自己更高的能力起点上进一步改进。

Q3：Direct-OPD训练需要多少计算资源？

A：训练阶段非常高效。以论文中的主要实验为例，在8张A100 GPU上训练约4小时，就能让Qwen3-1.7B在AIME 2024上从48.3%提升至58.3%。相比之下，直接在大模型上做强化学习通常需要数十张GPU运行数天甚至数周。转移阶段的计算消耗基本可以忽略不计，主要成本在于前期的小模型强化学习训练，而小模型训练本身就比大模型训练便宜得多。