阿里通义千问于近日正式宣布，开源了其最新的Qwen2.5-1M模型及其配套的推理框架。这一举措标志着通义千问在人工智能领域迈出了重要一步。
据悉，通义千问此次发布的开源模型包括Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M两个版本。尤为引人注目的是，这两个版本首次将Qwen模型的上下文长度扩展到了1M（即100万标记），这在业界尚属首次。
为了帮助开发者更好地部署和应用这些模型，Qwen团队还开源了基于vLLM的推理框架。该框架集成了稀疏注意力方法，使得在处理长达1M标记的输入时，推理速度有了显著提升，达到了3倍至7倍的增长。
在长上下文任务方面，Qwen2.5-1M系列模型展现出了强大的能力。在一项名为“大海捞针”的任务中，这些模型能够准确地从1M长度的文档中检索出隐藏信息。尽管7B版本的模型在极少数情况下出现了错误，但整体上，其表现仍然令人瞩目。
为了全面评估Qwen2.5-1M系列模型在长上下文任务中的表现，研究团队还选择了RULER、LV-eval和LongbenchChat等多个测试集进行测试。测试结果显示，这些模型在大多数任务中都显著优于之前的128K版本，特别是在处理超过64K长度的任务时，其优势更加明显。
Qwen2.5-14B-Instruct-1M模型不仅在性能上击败了Qwen2.5-Turbo，还在多个数据集上稳定超越了GPT-4o-mini。这一结果无疑为长上下文任务提供了更多开源模型的选择。
除了长上下文任务外，Qwen2.5-1M系列模型在短序列任务上的表现同样出色。测试结果显示，Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M在短文本任务上的表现与其128K版本相当，这意味着增加长序列处理能力并没有牺牲其基本能力。
与GPT-4o-mini相比，Qwen2.5-14B-Instruct-1M和Qwen2.5-Turbo在短文本任务上实现了相近的性能，但它们的上下文长度却是GPT-4o-mini的八倍。这一结果进一步证明了Qwen2.5-1M系列模型在短序列任务上的强大实力。
