阿里通义千问团队发布 QwenLong-L1-32B 模型，长文本情境推理表现卓越

模型发布与亮点

5 月 27 日消息，阿里通义千问 Qwen 团队昨日（5 月 26 日）发布了 QwenLong-L1-32B 模型，这是其首个通过强化学习训练的长文本情境推理模型（LRM）。在七个长文本 DocQA 基准测试中，QwenLong-L1-32B 的表现超越了 o3-mini 和 Qwen3-235B-A22B 等旗舰模型，与 Claude-3.7-Sonnet-Thinking 相当。

突出的技术特点

QwenLong-L1-32B 模型最大的亮点在于其上下文窗口最高支持 131072 个 tokens。该模型基于 QwenLong-L1 框架开发，采用了先进的 GRPO（Group Relative Policy Optimization）和 DAPO（Direct Alignment Policy Optimization）算法，结合基于规则和基于模型的混合奖励函数，显著提升了模型在长上下文推理中的准确性和效率。

强化学习与策略优化

具体而言，团队在监督微调（SFT）阶段建立了一个稳健的初始策略，随后采用课程引导的分阶段强化学习技术来稳定策略演变，并结合难度感知的回顾采样策略来激励策略探索。这些技术手段使得 QwenLong-L1-32B 在长文本情境推理中表现出色。

完整解决方案

除了模型本身，阿里还发布了一套针对长文本推理问题的完整解决方案。该方案包含四个核心组件：
  • 高性能的 QwenLong-L1-32B 模型：支持超长上下文窗口，提升推理准确性和效率。
  • 专门优化的训练数据集：确保模型在长文本情境下的表现。
  • 创新的强化学习训练方法：通过 GRPO 和 DAPO 算法优化策略。
  • 全面的性能评估体系：提供可靠的基准测试和评估标准。

结论

阿里通义千问团队发布的 QwenLong-L1-32B 模型，通过创新的强化学习训练方法和高性能的技术框架，在长文本情境推理中展现了卓越的表现。支持超长上下文窗口的能力，使得该模型在处理复杂文本时具有显著优势。结合完整的解决方案，QwenLong-L1-32B 有望在实际应用中发挥重要作用，为长文本推理问题提供高效、准确的解决方案。