阿里发布Qwen2.5-Turbo，上下文长度突破100万

昨天，阿里巴巴通义大模型团队发布了最新语言模型 Qwen2.5-Turbo。它在多个方面相较于前一代 Qwen2.5 有了明显的提升，特别是在处理超长上下文的能力上，它将，这相当于约 100 万个英文单词或 150 万个汉字。在推理速度方面，Qwen2.5-Turbo 通过采用稀疏注意力机制，，速度提升了 4.3 倍。而且价格更为低廉，，在相同费用情况下，Qwen2.5-Turbo 可以处理的 T

bagell

1378人浏览 · 2024-11-20 11:46:00

bagell · 2024-11-20 11:46:00 发布

昨天，阿里巴巴通义大模型团队发布了最新语言模型 Qwen2.5-Turbo。它在多个方面相较于前一代 Qwen2.5 有了明显的提升，特别是在处理超长上下文的能力上，它将上下文长度从 128K 扩展至 1M Token，这相当于约 100 万个英文单词或 150 万个汉字。

在推理速度方面，Qwen2.5-Turbo 通过采用稀疏注意力机制，将处理 1M Token 上下文时的首个 Token 时间从 4.9 分钟缩短至 68 秒，速度提升了 4.3 倍。

而且价格更为低廉，每百万 Token 的处理成本仅为 0.3 元，在相同费用情况下，Qwen2.5-Turbo 可以处理的 Token 量是 GPT-4o-mini 的 3.6 倍。

Qwen2.5-Turbo 在长上下文的高效处理方面设立了新标杆，同时在各种应用场景中保持卓越性能。

在线体验 Demo：https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo

#01

如何使用 API

支持 1M Token 的 Qwen2.5-Turbo 完全兼容标准 Qwen API 及 OpenAI API。以下是一个简单的 Python 示例，展示了如何调用它。确保环境变量中已设置 API 密钥 YOUR_API_KEY。

import os  
from openai import OpenAI  
  
# Load a long text file  
with open("example.txt", "r", encoding="utf-8") as f:  
    text = f.read()  
user_input = text + "\n\nSummarize the above text."  
  
client = OpenAI(  
    api_key=os.getenv("YOUR_API_KEY"),  
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",  
)  
  
completion = client.chat.completions.create(  
    model="qwen-turbo-latest",  
    messages=[  
      {'role': 'system', 'content': 'You are a helpful assistant.'},  
      {'role': 'user', 'content': user_input},  
    ],  
)  
  
print(completion.choices[0].message)

#02

Qwen2.5-Turbo 模型性能

Qwen2.5-Turbo 通过各种基准测试展现了其在长短文本任务上的明显进步。

密钥检索

在 1M-token Passkey Retrieval 任务中，Qwen2.5-Turbo 表现出优秀的能力，从超长上下文中精准识别关键信息，准确率达到 100%。

长文本理解

使用多个数据集对模型的长上下文理解能力进行了评估：

RULER：针对从冗长文本中提取关键信息、回答复杂问题和词频分析的任务，涵盖上下文长度达 128K Token。Qwen2.5-Turbo 得分 93.1，超越了 GPT-4o-mini 和 GPT-4。
LV-Eval：测试对长度达 256K Token 上下文中多证据片段的理解。修正后的评估标准避免了误报，确保了公平性。
LongBench-Chat：评估用户偏好与需要上下文长度达 100K Token 的任务之间的对齐度。

在这些测试中，Qwen2.5-Turbo 在处理超过 128K Token 任务上持续领先，展现了其在长文本理解上的强大能力。

短文本任务

与许多牺牲短文本性能的长上下文模型不同，Qwen2.5-Turbo 在短文本处理任务中依然表现强劲。基准测试显示，它在支持 1M-token 的模型中领先其他竞争对手，并与 GPT-4o-mini 及 Qwen2.5-14B-Instruct 的短文本性能持平，同时支持的上下文长度是它们的 8 倍。

#03

推理速度

Qwen2.5-Turbo 通过稀疏注意力机制实现了推理速度的明显提升：