8 月 9 日消息，阿里通义团队开源新一代数学模型 Qwen2-Math，包含 1.5B、7B、72B 三个参数的基础模型和指令微调模型。Qwen2-Math 基于通义千问开源大语言模型 Qwen2 研发，旗舰模型 Qwen2-Math-72B-Instruct 在权威测评集 MATH 上的得分超越 GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro、Llama-3.1-405B 等，以 84% 的准确率处理了代数、几何、计数与概率、数论等多种数学问题，成为最先进的数学专项模型。

注：在 MATH 基准测评中，通义千问数学模型的旗舰款 Qwen2-Math-72B-Instruct 取得了 84% 的准确率，超过 GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro 和 Llama-3.1-405B 等开闭源模型。

Qwen2-Math 基础模型使用 Qwen2 大语言模型进行初始化，并在精心设计的数学专用语料库上进行预训练，训练数据包含大规模高质量的数学网络文本、书籍、代码、考试题目，以及由 Qwen2 模型合成的数学预训练数据。所有预训练和微调数据集都进行了去污染处理。

随后，研发团队训练了指令微调版本模型：首先，基于 Qwen2-Math-72B 训练一个数学专用的奖励模型；接着，将密集的奖励信号与指示模型是否正确回答问题的二元信号结合，用作学习标签，再通过拒绝采样构建监督微调（SFT）数据；最后在 SFT 模型基础上使用 GRPO 方法优化模型。

据悉，Qwen2-Math 系列模型目前主要支持英文，通义团队很快就将推出中英双语版本，多语言版本也在开发中。

通义团队在多个中英文数学基准测评集对指令微调模型作了性能评估，除了 GSM8K 和 MATH 等常见的测评基准 ，还引入了更具挑战性的考试竞赛类测试，如奥林匹克级别的基准测评 OlympiadBench、大学数学级别的基准测评 CollegeMath、高考（GaoKao）、美国数学邀请赛（AIME）2024 赛题、美国数学竞赛（ AMC）2023 赛题，中文测评则有 CMATH 测评集、2024 年中国高考和中考数学题。最终，Qwen2-Math-72B-Instruct 表现优异，在十大测评中都获得了远超其他开源数学模型的成绩。

注：研发团队在 greedy 和 RM@8 的条件下对模型作了测评，表中为每款 Qwen2-Math-72B-Instruct 模型列出了三个得分结果，分别是第 1 次回答得分（无下标数字）、8 次回答中出现最多次数的答案的得分，8 次回答中 reward model 所选答案的得分。

" 大模型能不能做数学题 "，不仅是社交平台的热门话题，也是业界非常关注的研究课题。处理高级数学问题，需要模型具备复杂多步逻辑推理能力。通义团队在技术博客中表示，希望通过开源 " 为科学界解决高级数学问题做出贡献 "，未来将持续增强模型数学能力。

附：Qwen2-Math 解题示例

雷峰网