本次会议由中国信通院-先进计算发展联盟，特别指导，感谢联盟负责人和接口老师。

　　在人工智能领域，大型语言模型(LLM)的发展日新月异，但随之而来的计算资源需求和部署难度也成为制约其广泛应用的关键瓶颈。北京大学与360公司联合研发的TinyR1-32B-Preview模型通过创新的分合蒸馏技术，仅用5%的参数量就逼近了DeepSeek-R1-671B满血版的性能，为大模型的高效部署提供了新思路。本文将深入剖析这一突破性技术，从大模型蒸馏的基本原理、TinyR1的创新架构，到支撑其性能的自注意力(Self-Attention)机制，全面解读这一技术突破的内涵与价值。

　　知识蒸馏(Knowledge Distillation)作为一种模型压缩技术，其核心思想是将大型教师模型的知识迁移到小型学生模型中，这一概念在传统机器学习中已有多年历史。然而，随着大语言模型规模的爆炸式增长，蒸馏技术面临着前所未有的挑战和机遇。DeepSeek-R1的出现彻底改变了蒸馏技术的应用格局，其独特的性能优势使得蒸馏从学术研究快速走向工业实践。

　　知识蒸馏的本质是模拟人类教育过程，教师模型如同经验丰富的导师，学生模型则如同求知若渴的学子。在TinyR1项目中，研究团队将这一理念发挥到极致：以6710亿参数的DeepSeek-R1作为教师模型，通过精心设计的蒸馏流程，将其知识浓缩到仅32B参数的学生模型中。值得注意的是，这一过程并非简单的参数复制或模仿，而是涉及复杂的知识提取与重组，特别是在处理数学推理、编程代码和科学问题等高难度领域时，蒸馏过程更接近于思维方法的传授而非简单答案的复制。

　　与传统蒸馏技术相比，大模型蒸馏呈现出几个显著特征：首先，教师模型与学生模型之间的规模差距可达数十倍，这要求蒸馏算法具备极强的知识压缩能力；其次，大模型生成的思维链(Chain of Thought, CoT)成为关键蒸馏内容，学生模型需要学习的是推理过程而不仅是最终答案；再者，蒸馏效率成为决定性因素，DeepSeek-R1的API低成本特性使得大规模蒸馏变得经济可行，相比使用GPT-4等国际模型，成本可降低数十倍。

　　在蒸馏数据的选择上，研究团队采用了高质量种子数据策略，主要集中在大学级别的数学、编程和科学问题上。这些数据具有四两拨千斤的特性：虽然数量仅数万条，远少于预训练阶段的互联网规模数据，但对模型性能的提升却至关重要。这类似于人类教育过程中的精英教育阶段在完成基础教育后，通过精心设计的高难度题目快速提升专业能力。数据表明，这种针对性强的蒸馏方式在数学解题能力上甚至出现了青出于蓝的现象，学生模型在某些专业测试中超越了教师模型，这一反直觉的现象揭示了知识蒸馏中提炼精华的可能性。

　　从技术流程看，TinyR1的蒸馏过程分为两个关键阶段：知识获取阶段和知识迁移阶段。在知识获取阶段，教师模型对种子问题进行多角度解答（通常生成8个不同答案），研究团队发现使用全部多样化的答案比人工筛选最佳答案效果更好，这反映了知识传播过程中兼收并蓄的优势。在知识迁移阶段，则采用全参数微调(Full Fine-Tuning)策略，确保学生模型能够充分吸收教师模型的推理模式和解题思路，特别是在处理长思维链问题时，这种端到端的学习方式显示出明显优势。

　　TinyR1-32B-Preview模型最核心的创新在于其分合蒸馏(Branch-Merge Distillation)框架，这一技术突破了传统蒸馏方法在跨领域学习中的局限性。研究团队发现，当面对数学、编程和科学等差异显著的领域时，单一模型的联合训练往往导致知识干扰模型参数在优化过程中难以兼顾不同领域的特点，最终导致各领域的性能均未达到最优。分合蒸馏技术巧妙地解决了这一难题，其设计理念既符合人类分科治学的认知规律，又结合了大模型参数融合的前沿技术。

　　分支阶段的技术实现体现了专业分工的思想。研究团队首先将种子数据严格分为数学、编程和科学三大类，每一类数据都经过精心筛选和格式化处理。数学数据来自NuminaMath1.5数据集，经过严格验证后筛选出58k高质量问答对；编程数据则来自OpenThoughts数据集，形成20k条代码解决方案轨迹；科学数据则整合了多个来源的8.6k条科学问题解答。这些数据不仅内容专业，格式也经过统一处理，如将编程数据中的begin_of_thought标记统一替换为，确保模型能够准确识别思维链的起始与终结。

　　针对每一专业领域，研究团队分别训练了三个专家模型：数学专家、编程专家和科学专家。这一过程类似于培养专业领域的博士生，每个模型都深耕特定领域，达到该领域的顶尖水平。值得注意的是，这种分别训练的方式避免了知识干扰，每个模型都可以在各自领域内充分优化参数，不必兼顾其他领域的需求。实验数据表明，这种专业化分工带来了显著性能提升：数学专家在AIME 2024测试中达到73.1分，编程专家在LiveCodeBench上获得63.4分，科学专家则在GPQA-Diamond测试中取得64.5分，均超过了通用基线的表现。

　　合并阶段则展现了融会贯通的技术挑战。如何将三个专业模型的知识有机融合，创造出一个全能型模型，是分合蒸馏最具创新性的环节。研究团队试验了多种模型合并方法，最终采用了基于Arcee Fusion的改进算法，这一方法的核心思想是参数级选择性融合; 通俗点说就是，“让专业的人做专业的事”，然后再系统地进行动态的协调。技术报告中的数学公式详细描述了这一过程：首先将两个模型的对应参数向量化为X和Y，通过softmax函数加微小扰动(=1e-8)将其转化为概率分布；然后计算KL散度作为参数重要性指标，结合四分位距动态确定融合阈值；最终只保留重要性评分高于阈值的参数，其余则沿用左侧模型的原始参数。

　　这种合并方式的优势在于既”各取所长”，又通过参数筛选避免了简单的平均主义。实验数据显示，不同的合并顺序会导致不同的性能表现：(数学&编码)与科学合并后，数学得分提升至77.3分，编码达63.8分；而(数学&科学)与编码合并后，数学进一步提升至78.1分，科学达65.0分。TinyR1最终采用了后一种合并策略，在保持科学能力的同时，数学性能达到接近满血版DeepSeek-R1(79.8分)的水平，而参数量仅为5%。

　　分合蒸馏的效率优势同样引人注目。相比传统的数据混合训练需要740 GPU小时，分合蒸馏的合并阶段仅需4 GPU小时，效率提升近200倍。这种高效率源于合并过程不需要重新训练，仅是参数的选择性组合，使得整个蒸馏流程既保证了性能，又大幅降低了计算成本。研究团队特别指出，这一技术使高校和小型企业也能参与大模型优化，仅需1-2张高端GPU即可完成模型合并，极大地降低了大模型研发的门槛。

　　从技术内涵看，分合蒸馏的成功揭示了大型语言模型的模块化特性不同领域的知识在参数空间中可以相对独立地存在和操作。这一发现不仅为模型压缩提供了新思路，也为理解大模型的工作原理提供了新视角。TinyR1的技术路线证明，通过精心设计的蒸馏和融合策略，中等规模模型完全可以在特定领域逼近甚至超越超大模型的性能，这对实际应用中的成本效益权衡具有重要指导意义。

　　Transformer架构中的自注意力(Self-Attention)机制是DeepSeek-R1和TinyR1模型的核心基础，也是蒸馏技术能够成功的关键支撑。这一机制模仿了人类认知过程中的关联思维在处理信息时，能够动态地关注不同部分之间的关系，而非局限于局部或固定模式的思考。理解Self-Attention的工作原理，对于把握大模型蒸馏的技术本质至关重要。

　　Self-Attention的基本原理可以概括为动态权重分配。与传统神经网络的全连接方式不同，Self-Attention机制中每个token(通常对应一个字或词)都会与序列中的所有token建立连接，且这些连接的权重不是固定的，而是根据当前输入动态计算得出。技术文档中的公式描述了这一过程：输入序列首先被转换为Query(Q)、IM电竞官网Key(K)和Value(V)三种向量表示，通过Q与K的点积计算得到注意力分数，经softmax归一化后形成注意力权重，最终加权求和V向量得到输出。这一过程使模型能够灵活地捕捉长距离依赖关系，不受序列位置的硬性限制。

　　在TinyR1的蒸馏过程中，Self-Attention机制展现了三大核心优势：首先，它能够有效捕捉教师模型生成的思维链(CoT)中的逻辑关系，这是知识迁移的关键；其次，注意力模式的迁移比简单输出分布的迁移更能保留教师模型的推理能力；再者，多头注意力(Multi-Head Attention)机制天然支持不同专业领域的知识表征，为分合蒸馏提供了架构基础。研究团队发现，在合并专家模型时，注意力层的参数往往表现出明显的领域特异性，这为参数选择提供了可靠依据。

　　Self-Attention与传统神经网络结构的对比凸显了其革命性价值。与循环神经网络(RNN)相比，Self-Attention能够直接捕捉任意距离的依赖关系，避免了RNN的梯度消失问题；与长短期记忆网络(LSTM)相比，其并行计算效率更高，训练稳定性更好；与卷积神经网络(CNN)相比，Self-Attention的感受不受卷积核大小的限制，可以视为具有可学习感受野的CNN。这些优势使得Transformer架构成为大语言模型的不二选择，也为蒸馏技术提供了稳定的架构基础。

　　在位置编码方面，TinyR1采用了绝对位置嵌入的方式，为每个位置分配唯一的位置向量。这种设计与Self-Attention的非位置敏感性形成互补纯粹的Self-Attention由于并行计算特性而缺乏位置信息，位置编码则明确注入了序列顺序信息。技术文档显示，研究团队尝试了可学习的位置编码和固定频率编码两种方式，最终选择了后者，因其在蒸馏过程中表现出更好的稳定性和泛化能力。位置信息的有效保留对于数学推理和代码生成等高度依赖顺序的任务尤为关键。

　　多头注意力机制在分合蒸馏中扮演了专业分工的角色。每个注意力头可以理解为不同的专家视角，在训练过程中自发地关注不同类型的模式。在数学专家模型中，某些注意力头专门负责公式推导的模式识别；在编程专家模型中，则有注意力头专门处理代码语法结构；科学专家模型中的注意力头则可能关注科学术语之间的语义关系。这种自发形成的专业化分工，使得模型合并时能够相对清晰地分离不同领域的知识表征，大大降低了参数融合的难度。

　　从技术演进角度看，Self-Attention机制的计算效率仍有提升空间。其复杂度与序列长度的平方成正比，这在处理长文档或高难度数学题时成为瓶颈。TinyR1的技术报告提到，研究团队尝试了多种注意力优化方法，包括局部注意力、稀疏注意力等变体，但最终保留了原始的全注意力机制，因其在知识蒸馏过程中表现最为稳定。这一选择反映了当前技术条件下的实用主义权衡在模型能力与计算成本之间，优先保证蒸馏质量。

　　值得注意的是，Self-Attention机制的可解释性为蒸馏过程提供了宝贵的调试信息。注意力权重矩阵可视化了模型思考时的关注焦点，例如在解决数学问题时，模型会逐步关注题目中的关键数字和运算符；在代码生成中，则会有规律地来回查看函数名和参数列表。研究团队利用这种可视化的注意力模式，验证了蒸馏前后模型推理逻辑的一致性，确保学生模型真正继承了教师模型的解题思路而不仅是表面答案。

　　TinyR1-32B-Preview模型的成功研发不仅是一项学术成就，更对人工智能的实际应用产生了较大的影响。通过创新的分合蒸馏技术和深入的Self-Attention机制优化，研究团队实现了大模型技术民主化的重要一步使资源有限的机构也能部署高性能的语言模型。这一突破的价值可以从技术性能、经济效益和社会影响三个维度进行全面评估。

　　性能对比数据直观展现了TinyR1的卓越表现。在标准测试集上，这个仅32B参数的模型在数学解题能力(AIME 2024)上获得78.1分，逼近满血版DeepSeek-R1(79.8分)，远超DeepSeek自蒸馏的70B模型(70分)；编程能力(LiveCodeBench)达到61.6分，同样优于70B蒸馏模型(57.5分)；科学理解能力(GPQA-Diamond)则为65.0分，与70B模型(65.2分)基本持平。这些数据证实了分合蒸馏技术的有效性在参数量减少50%以上的情况下，性能反而有明显提升。

　　从技术指标来看，TinyR1展现了惊人的效率优势。模型合并过程仅需4个GPU小时，相比传统混合训练方法的740小时，效率提升近200倍。部署方面，32B模型仅需20GB显存，可在单张RTX 3090或A100 GPU上运行，推理成本控制在10万元人民币以内。这种高效率源于分合蒸馏的巧妙设计将计算密集型的联合训练分解为相对独立的专业训练和轻量级的模型合并，大幅降低了整体资源消耗。研究团队特别强调，整个蒸馏流程设计考虑了国产GPU的兼容性，为自主可控的AI生态建设提供了技术支持。

　　经济效益分析揭示了TinyR1的商业化潜力。与671B的满血版相比，32B模型在硬件投入上可节省95%以上的成本；与70B的中等规模模型相比，也有50%的成本优势，而性能反而更优。这种性价比优势对于中小企业尤其珍贵，使他们能够以可承受的成本部署高质量的AI服务。技术文档中提到，北京大学校园网内部已经部署了TinyR1模型，为5万名师生提供稳定的AI服务，这一实际案例证明了该技术在真实场景中的可行性。相比依赖云端超大模型的服务，本地化部署的中等规模模型在响应速度、数据隐私和定制灵活性方面都有明显优势。

　　从社会影响角度看，TinyR1项目推动了AI技术的民主化进程。研究团队特别强调，他们将公开完整的训练代码和部分数据集，并准备详细的教程指导高中生和本科生复现整个蒸馏过程。这种开放态度在竞争激烈的大模型领域尤为难得，它降低了高校研究团队参与AI前沿研究的门槛。技术文档中提到，整个蒸馏过程需要非常少的计算能力，这意味着即使是资源有限的研究小组，也能在这一框架下进行有价值的模型优化研究。这种开放共享的理念有助于形成良性的AI研发生态，避免技术垄断造成的创新停滞。

　　分合蒸馏技术的方法论价值超出了单一模型的应用范畴。它为解决大模型训练中的灾难性遗忘问题提供了新思路通过分别训练和后期合并的方式，可以在不损害已有能力的前提下增加新功能。这一思路可延伸至更多专业领域，如法律、医疗、金融等垂直行业的模型定制。技术文档中提到的思维链蒸馏方法也具有普适性，任何需要复杂推理的应用场景都可借鉴这一技术，提升小模型的逻辑推理能力。这些方法论创新将使整个AI社区受益，推动大模型技术向更高效、更专业的方向发展。

　　值得一提的是，TinyR1项目展现了产学研合作的强大生命力。360公司不仅提供了计算资源支持，还派出了优秀工程师与北京大学团队紧密协作，这种深度合作模式加速了技术创新向实际应用的转化。技术文档中透露，北大-360大模型联合实验室正在筹建中，未来将继续推进大模型微型化技术的研究。这种校企合作模式兼顾了学术探索的深度和工业应用的务实，为中国特色AI创新体系提供了有价值的实践案例。

　　从技术演进趋势看，TinyR1的成功标志着大模型发展进入了效率优先的新阶段。在经历了参数竞赛的狂热期后，AI社区开始更加关注模型的实用效益，而非单纯的规模指标。分合蒸馏技术代表了一种新思路通过算法创新而非堆砌算力来提升性能，这与可持续发展的理念高度契合。研究团队在技术文档中明确表示：我们第一去追求精度，只有算力不够或精度优化不上去时，才考虑降低成本，这种以效果为导向的务实态度，正是未来AI技术健康发展的关键所在。

　　TinyR1-32B-Preview模型虽然取得了显著成果，但研究团队在技术文档中明确表示这只是一个预览版，大模型蒸馏技术仍有广阔的提升空间和未解挑战。从当前成果出发，我们可以预见该领域未来发展的多个方向，同时也应清醒认识到面临的技术障碍和实用化难题。

　　技术优化方向在文档中已被明确提出。研究团队计划在蒸馏方法上进行更多实验测试和参数调整，以进一步提升模型性能，特别是在编程和科学领域，目前与满血版的差距相对数学领域更为明显。文档中提到，当前合并阶段仅使用了参数的前100万维进行相似度计算，未来可以通过更全面的参数分析或智能采样策略来优化融合效果。团队也认识到，合并后的模型可能受益于额外的微调阶段，这将成为下一步研究重点。在模型架构方面，研究团队正探索将分合蒸馏技术扩展到多模态领域，计划中的910b多模态支持和910c蒸馏+强化学习项目显示了这一技术路线的扩展潜力。

　　计算效率方面仍存在显著的提升空间。虽然分合蒸馏已经大幅降低了训练成本，但技术文档显示，数学专家模型的训练仍需要58k样本，编程专家20k样本，科学专家8.6k样本，整个蒸馏过程的数据准备和专家模型训练阶段依然消耗可观的计算资源。未来工作可能会探索更高效的数据筛选方法，如主动学习策略，进一步减少冗余计算。研究团队也提到，当前蒸馏流程中教师模型生成多个答案的过程(通常为8个)虽然提高了质量，但也增加了前期成本，开发更智能的答案生成-筛选机制将是重要研究方向。

　　分合蒸馏技术的理论解释是未来面临的深层挑战。技术文档中坦承，学生模型在某些数学测试中偶尔超越教师模型的现象无法合理解释，这指向了知识蒸馏理论研究的不足。为什么32B参数的学生模型能够掌握671B参数教师模型的知识精华？不同领域的知识在参数空间中是如何组织和交互的？模型合并过程中的参数选择依据是否有更深刻的数学解释？这些问题的探索将不仅提升蒸馏技术的可靠性，也可能揭示大型语言模型工作原理的普适规律。研究团队计划邀请更多数学和认知科学领域的专家参与这一基础性研究。

　　从应用生态角度看，分合蒸馏技术的标准化和工具化将是推广关键。技术文档中提到，研究团队正在准备详细的教程和复现指南，这反映了让技术更易用的努力。未来可能会开发专门的蒸馏框架，封装数据处理、专家训练、模型合并等流程，降低技术使用门槛。文档中强调的支持国产GPU运行也指向了一个重要方向建立自主可控的AI工具链，包括蒸馏工具、评估标准和部署方案，形成完整的技术生态系统。研究团队与360等企业的合作将加速这一进程。

　　技术文档也暗示了分合蒸馏在更广泛领域的应用前景。除了已经展示的数学、编程和科学领域，这一技术框架可扩展至数理化、文史哲、医疗、保险、矿山、国土资源、林业、生物、医药健康等多个专业领域。每个垂直领域都可以培养自己的专家模型，然后通过标准化合并流程集成到通用模型中。这种模块化的能力扩展方式为大模型的持续进化提供了可行路径，避免了传统全量训练的高成本问题。研究团队特别指出，领域专家(如学科竞赛获奖者)在数据准备和评估中的重要性，未来可能会形成更开放的专家协作网络。

　　社会影响层面，分合蒸馏技术的普及将重塑AI研发格局。技术文档强调，这一方法使高校研究实验室能够参与前沿工作，打破了超大模型时代资源垄断的困境。未来可能会涌现更多专注于特定领域蒸馏优化的专业团队，形成小而美的技术生态。文档中提到的高中生复现计划也预示了AI教育的新模式通过参与真实的模型优化项目，学生可以获得远超传统课程的实际经验。这种开放、实践导向的人才培养方式可能对AI教育产生深远影响。

　　然而，这些美好前景面临现实挑战。技术文档中多次提到算力限制对研究决策的影响，这在国内AI硬件生态尚未成熟的背景下尤为突出。模型合并虽然相对高效，但前期专家模型的训练仍需要相当的GPU资源，特别是在扩展到更多领域时。文档中透露，研究团队尝试过的许多创新方法因算力不足未能充分测试，这反映了资源约束对技术创新的制约。此外，蒸馏过程依赖教师模型的质量，在DeepSeek-R1之外构建多样化的教师模型体系也需要大量投入。这些挑战的解决需要产学研更紧密的合作和政策支持。

　　从更长远看，分合蒸馏技术与新型硬件架构的协同优化将是突破方向。技术文档提到对国产GPU的兼容性考虑，但更深度的软硬件协同设计可能带来更大收益。例如，针对模型合并阶段的特点设计专用加速器，或开发支持高效参数融合的芯片架构。研究团队与华为等硬件厂商的合作经验(文档中提到华为火花奖5次)可能为这一方向提供支持。这种跨层优化代表了AI技术发展的未来趋势算法创新与硬件进步相互促进，共同推动性能边界。

　　综上所述，从TinyR1-32B-Preview的技术文档分析可见，大模型蒸馏技术已经发展到一个新阶段，分合蒸馏框架和Self-Attention机制的深入理解共同促成了这一突破。这一技术方向不仅解决了实际部署中的资源瓶颈问题，也为理解大模型的工作原理提供了新视角。随着研究的深入和生态的完善，高效、专业、可解释的蒸馏模型将在AI应用中扮演越来越重要的角色，推动人工智能技术向更可持续、更民主化的方向发展。北京大学与360公司的这一合作成果，既是中国AI创新的一个缩影，也为全球大模型优化研究提供了宝贵参考。

　　朱其罡，上海开源信息技术协会秘书长，中国汽协开源顾问，智源开源顾问，国科开源联合创始人

　　人工智能与元宇宙产业委《元宇宙十大技术》培训班是由人工智能与元宇宙产业委副主任委员兼联席秘书长、物链芯工程技术研究院元宇宙研究所所长、先进计算产业发展联盟智能计算组组长叶毓睿发起和创办的。叶毓睿长期关注区块链、VR/AR、AIGC、数字孪生、3D内容创作平台或规范（如Web3D、WebXR）等元宇宙等前沿技术领衔参与撰写的《元宇宙十大技术》一书系统地剖析了构成元宇宙的技术组成、原理、案例和未来趋势。他领衔并邀请了十多位领域的Top级专家撰写的《元宇宙十大技术》一书，系统地剖析了构成元宇宙的核心技术要点，该书得到了包括朱嘉明、肖风、姚前及四位院士等70多位资深专家的联袂推荐。 通过“燕园叶话”这个平台,叶毓睿希望能够推动元宇宙技术在社会各界的交流与普及。《元宇宙十大技术》一书为这个系列活动提供了理论基础和技术支撑。同时,叶毓睿还积极运用自己的人脉资源，邀请国内外元宇宙领域的专家学者前来主讲，保证了内容的专业性和前瞻性。截止2025年4月13日，已经举办了第101期，促成了不少合作，欢迎关注、转发。通过关注视频号 乐生活与爱IT，可以查看过往回放。

　　人工智能与元宇宙产业委《元宇宙十大技术》培训班目前主要以线上形式（腾讯会议+视频号）展开，并邀请了13+媒体伙伴们一起转播、转载，通常每次在线不等，也是受访嘉宾及其所在公司的良好展示平台。该品牌系列活动的创办，是元宇宙产业委和叶毓睿推动元宇宙产业发展、促进元宇宙技术交流的重要举措之一。 《元宇宙十大技术》培训班的举办，是元宇宙产业委为推动元宇宙技术交流、促进产业发展作出的重要努力。通过持续邀请专家学者主讲，剖析元宇宙技术，和介绍应用场景或案例，使广大公众对元宇宙有了更深入的了解，也增强了对元宇宙发展的信心。可以预见，这一系列活动有望对元宇宙产业链培育人才、推动技术创新、规范产业发展起到积极的推动作用。我们期待它能够发挥引领示范效应，推动元宇宙产业健康快速发展。

　　隶属中华人民共和国工业和信息化部指导、民政部登记的国家一级组织中国移动通信联合会（国务院总理办公会议批准成立）

　　COPYRIGHT©1997-2017 主办：中国移动通信联合会元宇宙产业工作委员会（CMCA-MCC）【可信网站】

　　办公地址：北京市海淀区万寿路27号工信部1号楼8层 秘书长单位：物链芯工程技术研究院（北京）股份有限公司

　　执行秘书长：元宇宙实验室（深圳）有限公司 Email ： 联系电话：（微信）