我们观察到，当前主流的推理模型大多采用“独白式”的思考方式——模型独自完成整个推理过程。这种方式虽然高效，但也像一个独自钻研难题的思考者，有时会陷入思维定式，缺乏多样性；有时又会思绪跳跃，影响连贯性。 想象一下，如果AI也能像一个专家团队那样，拥有不同“角色”，通过对话和协作来解决问题，是不是会更强大、更智能呢？ 今天，我们就来介绍一种全新的推理范式——DialogueReason。它旨在发掘并引入独白式推理模型中那些被“遗忘”的角色，通过模拟多角色对话与协作，显著提升AI推理过程的多样性和连贯性，让AI学会“群策群力”！ PS: 可以在StepFun官网体验（输入 @，即可看到Dialogue Reason模型），Huggingface 下载。

一、AI推理为何会陷入“独白”困境？

尽管基于强化学习的大型推理模型（例如一些先进的开源模型）在解题能力上表现出色，但它们的“独白式”推理主要存在两大痛点： 推理多样性不足：面对不同类型的问题，模型倾向于固守几种常用策略，就像一个只会用锤子的人，看什么都像钉子。这限制了模型处理复杂和多变问题的能力。 推理连贯性不佳：在推理过程中，模型常常出现注意力分散、不必要的犹豫或思路跳跃，导致推理过程支离破碎，难以理解和信任。 为了系统地研究这些问题，我们设计了一个名为 Compound-QA（复合问答） 的特殊任务。这个任务的巧妙之处在于，它会将多个独立的问题“打包”在一起，形成一个复合型的难题，以此来考验模型在不同推理路径间切换的灵活性，以及保持内部思考连贯性的能力。

二、DialogueReason：AI界的“圆桌会议”是如何炼成的？

基于上述分析，我们提出了 DialogueReason，一个基于对话的多角色协作推理范式。其核心思想是将复杂的推理过程，重构为多个拥有特定专长的“智能体”（Agent）之间的对话与协作，灵感正来源于人类专家团队解决复杂问题的方式。 DialogueReason 的核心组件：

1. 自动化创建多角色 (Multi-Role Design)：我们为AI设计了不同的“专家角色”，例如“数学专家”负责数值计算和代数推演，“逻辑分析师”负责逻辑鏈条的梳理，“几何大师”负责空间想象和几何证明等。每个角色专注于自己擅长的领域。
2. 动态环境构建：我们为这些角色提供了一个结构化的“会议室”，包含了问题描述、历史对话记录和当前推理状态等信息，确保协作有序进行，支持智能体动态调整职责与目标。
3. 单模型端到端多智能体强化学习：基于近端策略优化（PPO）算法，结合规则化奖励函数训练模型，激发多角色协作与动态调度能力。实现单模型进行多智能体的推理，减少多智能体交互系统复杂性。
   

如何训练AI学会“开会讨论”： DialogueReason是一种围绕代理、环境和交互构建的对话式推理方法。其核心理念是将推理过程重构为多个专业角色间的对话，每个角色负责特定类型的推理任务。这种方法借鉴了人类专家团队协作解决复杂问题的模式。

其核心在于模拟真实的对话场景。我们设计了一个简单而有效的系统提示（System Prompt）来激发模型的对话式推理能力。这个提示非常灵活，可以根据具体任务进行定制，例如：

• 定义参与者：比如设定一个“老师”和一个“学生”的角色。
• 设定讨论情境：比如模拟一个“数学课堂”的场景。
• 选择对话格式：比如采用“苏格拉底式对话”或者“小组讨论”等形式。 通过在System Prompt中增加类似的提示，引用模型在推理过程中明确配置角色和对话环境，DialogueReason鼓励模型针对不同类型的问题探索多样化的推理路径。同时，对话固有的结构化轮流发言和会话边界有助于提升推理的连贯性，使得整个过程更易于理解，逻辑也更加清晰。

训练方法：基于规则的强化学习 我们采用基于规则的PPO（Proximal Policy Optimization，近端策略优化）方法来训练大语言模型，使其逐步掌握对话模式下的推理能力，包括角色配置、对话模拟和环境管理。PPO是一种先进的强化学习算法，它能在保证学习效率的同时，也注重学习过程的稳定性，避免模型在学习过程中“跑偏”。 具体来说，训练过程就像是教练指导运动员：

• actor模型：我们选择了Qwen系列模型作为基础，Qwen-QWQ-32B（简称QWQ） 和 Qwen2.5-Base-32B（简称Base）。
• 奖励函数：奖励函数的设定至关重要，它直接引导模型的学习方向。在DialogueReason中，我们主要基于最终结果的匹配度来设计奖励。简单来说，如果模型通过对话推理得出了正确答案，就会获得正向奖励；反之，则可能受到一些“惩罚”或得不到奖励，促使其调整策略。
• 训练数据集：我们使用了 Open-ReasonerZero (ORZ) (Hu et al., 2025)，这是一个专为大规模推理导向的强化学习训练而设计的开源训练平台。它提供了海量的、高质量的推理题目，就像为运动员提供了专业的训练场地和丰富的训练器材，包含了AIME (截至2023年)、OpenR1-Math-220k、Tulu3 MATH 等多种来源的数学和逻辑推理问题。

优化目标：让模型“更会”对话推理 强化学习的目标是让模型学会一个好的“策略”——在不同的“对话状态”下，知道如何选择“发言”或“行动”，才能最大化最终获得的“奖励”（通常是解题的正确性）。 简单来说，整个训练过程就是让模型在大量的对话推理练习中不断尝试、接收反馈（奖励或惩罚），并逐步优化自己的“对话策略”，最终目标是让模型学会如何通过高效、连贯且多样化的对话来解决复杂问题。

训练中的发现 我们的训练实验发现，无论是 Base模型 还是 QWQ模型，都能够成功学习并掌握对话式推理模式。但有趣的是，它们展现出的对话风格有所不同：

• DialogueReason-Base（基于Qwen2.5-Base-32B训练的模型）展现出的对话推理过程更接近自然的、结构化的对话。
• DialogueReason-QWQ（基于Qwen-QWQ-32B训练的模型）则在每个角色的发言内部，仍然保留了更多独白式的表达风格。

三、实战见真章：DialogueReason表现究竟如何？

我们将训练好的 DialogueReason 模型在多个高难度推理数据集上进行了评估，包括：

• MATH：包含高中和大学水平的数学问题。

• AIME：美国数学邀请赛题集，难度极高。

• GPQA：包含研究生水平的物理问题。 我们将 DialogueReason 与传统的独白式推理模型（包括原始基础模型和经过强化学习训练的独白模型）进行了对比。

  

• 准确率显著提升：在更复杂的 Compound-QA 任务上，DialogueReason 相较于独白式模型，平均准确率提升了 15-20%！

• 推理更多样：DialogueReason 展现出更高的策略多样性得分，能够根据问题类型灵活切换“思考频道”。

• 推理更连贯：基于对话的推理模型保持了更高的连贯性得分，有效减少了注意力不集中和思路“卡壳”的情况。 特别值得一提的是，随着问题复杂度的增加，DialogueReason 相较于独白式模型的性能优势会进一步扩大，这充分证明了其在处理复杂推理任务上的潜力。

四、案例展示：当AI学会“分工合作”

1. 数学难题求解 案例：分解代数问题→多角色提出不同解法→环境验证最优策略
   Q: 已知 $x + y + z = 1, \quad x^2 + y^2 + z^2 = 2, \quad x^3 + y^3 + z^3 = 3$ ，求 $x^5 + y^5 + z^5$ 是多少？

   

2. 代码生成与调试 案例：“代码生成者”输出方案→“验证者”模拟执行→环境反馈异常
   Q: 从 0 开始实现一个操作系统

   

3. 复杂逻辑推理 案例：处理嵌套因果推理任务时，多角色协同避免注意力分散
   Q：讲一讲德州扑克中的Q-learning和MCTS

   

五、不止于推理：DialogueReason带来的“连锁效应”

DialogueReason 的优势并不仅仅局限于提升推理的准确性和效率，它还带来了更广泛的积极影响：

1. 增强可解释性：多角色对话使得模型的“思考过程”更加透明和易于理解。我们能清楚地看到不同“专家”是如何贡献自己的“智慧”的，这大大方便了人类对模型决策过程的理解和信任。
2. 配置推理的隐喻：DialogueReason将对推理过程的控制，比喻为一场人类可理解的多人对话“组局”。用户可以设定参与推理的角色、讨论的场景以及对话的形式，从而将抽象复杂的推理过程，转化为类似人类讨论的情境，更直观、更自然地理解和配置模型的行为。
3. 更细粒度的人机交互边界：基于对话的推理天然支持交互式解题。一方面在推理过程中，对话提供了更细粒度的边界人类可以更自然地介入，提供引导、修正错误，或者提出新的探索方向，实现更高效的人机协作。
4. 启发多智能体系统设计：DialogueReason 为构建更复杂、更强大的多智能体系统提供了一个坚实的基础框架和有益的探索。

六、挑战与展望：DialogueReason的星辰大海

尽管 DialogueReason 取得了显著进展，但作为一项探索性的工作，它也面临一些挑战：

• 计算效率：相比独白式推理，多角色对话可能需要更多的计算资源和推理步骤。
• 角色设计的依赖性：模型的性能在一定程度上取决于角色设计的合理性和适用性。
• 训练复杂度：训练这种对话式推理模型的复杂度相对更高。 展望未来，我们将继续在以下方向进行探索：
• 多层级对话讨论：探索如何引入对话讨论层级，如让团队内部并发地讨论完成后，让团队代表再进行意见交换。
• 跨领域拓展：将 DialogueReason 的成功经验推广到更广泛的领域，如科学发现、法律分析、代码生成等。
• 强化人机协作：探索如何更有效地将人类专家的智慧融入到对话式推理过程中，实现1+1>2的效果。