
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
在 Qwen2 发布后的过去三个月里,许多开发者基于 Qwen2 语言模型构建了新的模型,并提供了宝贵的反馈。在这段时间里,通义千问团队专注于创建更智能、更博学的语言模型。今天,Qwen 家族的最新成员:Qwen2.5系列正式开源!这可能是历史上最大的开源发布!最新发布包括了语言模型 Qwen2.5,以及专门针对编程的 Qwen2.5-Coder 和数学的 Qwen2.5-Math 模型。
01.引言
在 Qwen2 发布后的过去三个月里,许多开发者基于 Qwen2 语言模型构建了新的模型,并提供了宝贵的反馈。在这段时间里,通义千问团队专注于创建更智能、更博学的语言模型。今天,Qwen 家族的最新成员:Qwen2.5系列正式开源!
这可能是历史上最大的开源发布!最新发布包括了语言模型 Qwen2.5,以及专门针对编程的 Qwen2.5-Coder 和数学的 Qwen2.5-Math 模型。所有开放权重的模型都是稠密的、decoder-only的语言模型,提供多种不同规模的版本,包括:
-
Qwen2.5: 0.5B, 1.5B, 3B, 7B, 14B, 32B, 以及72B;
-
Qwen2.5-Coder: 1.5B, 7B, 以及即将推出的32B;
-
Qwen2.5-Math: 1.5B, 7B, 以及72B。
除了3B和72B的版本外,Qwen2.5所有的开源模型都采用了 Apache 2.0 许可证。您可以在相应的模型仓库中找到许可证文件。此外,本次通义千问团队还开源了性能不输于GPT-4o的 Qwen2-VL-72B。
小编敲黑板:
-
更大的训练数据集:Qwen2.5 语言模型的所有尺寸都在最新的大规模数据集上进行了预训练,该数据集包含多达 18T tokens。相较于 Qwen2,Qwen2.5 获得了显著更多的知识(MMLU:85+),并在编程能力(HumanEval 85+)和数学能力(MATH 80+)方面有了大幅提升。
-
更强的指令遵循能力:新模型在指令执行、生成长文本(超过 8K 标记)、理解结构化数据(例如表格)以及生成结构化输出特别是 JSON 方面取得了显著改进。Qwen2.5 模型总体上对各种system prompt更具适应性,增强了角色扮演实现和聊天机器人的条件设置功能。
-
长文本支持能力:与 Qwen2 类似,Qwen2.5 语言模型支持高达 128K tokens,并能生成最多 8K tokens的内容。
-
强大的多语言能力:它们同样保持了对包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等 29 种以上语言的支持。
-
专业领域的专家语言模型能力增强,即用于编程的 Qwen2.5-Coder 和用于数学的 Qwen2.5-Math,相比其前身 CodeQwen1.5 和 Qwen2-Math 有了实质性的改进。具体来说,Qwen2.5-Coder 在包含 5.5 T tokens 编程相关数据上进行了训练,使即使较小的编程专用模型也能在编程评估基准测试中表现出媲美大型语言模型的竞争力。同时,Qwen2.5-Math 支持 中文 和 英文,并整合了多种推理方法,包括CoT(Chain of Thought)、PoT(Program of Thought)和 TIR(Tool-Integrated Reasoning)。
02.模型性能
Qwen2.5
为了展示 Qwen2.5 的能力,开源模型 Qwen2.5-72B —— 一个拥有 720 亿参数的稠密 decoder-only 语言模型——与领先的开源模型如 Llama-3.1-70B、Mistral-Large-V2 和 DeepSeek-V2.5 进行了基准测试。多个基准测试中展示了经过指令调优的版本的综合结果,评估了模型的能力和人类偏好。
Qwen2.5 的一个重要更新是重新引入 Qwen2.5-14B 和 Qwen2.5-32B。这些模型在多样化的任务中超越了同等规模或更大规模的基线模型,例如 Phi-3.5-MoE-Instruct 和 Gemma2-27B-IT。它们在模型大小和能力之间达到了最佳平衡,提供了匹配甚至超过一些较大模型的性能。
近来也出现了明显的转向小型语言模型(SLMs)的趋势。尽管历史上小型语言模型(SLMs)的表现一直落后于大型语言模型(LLMs),但二者之间的性能差距正在迅速缩小。值得注意的是,即使是只有大约 30 亿参数的模型现在也能取得高度竞争力的结果。附带的图表显示了一个重要的趋势:在 MMLU 中得分超过 65 的新型模型正变得越来越小,这凸显了语言模型的知识密度增长速度加快。特别值得一提的是, Qwen2.5-3B 成为这一趋势的一个典型例子,它仅凭约 30 亿参数就实现了令人印象深刻的性能,展示了其相对于前辈模型的高效性和能力。
除了在基准评估中取得的显著增强外,通义千问还改进了后训练方法。四个主要更新包括支持最长可达 8K 标记的长文本生成,大幅提升了对结构化数据的理解能力,生成结构化输出(尤其是 JSON 格式)更加可靠,并且在多样化的系统提示下的表现得到了加强,这有助于有效进行角色扮演。请查阅 LLM 博客了解如何利用这些功能的详细信息。
Qwen2.5-Coder
自从推出 CodeQwen1.5 以来,通义千问吸引了大量依赖该模型完成各种编程任务的用户,这些任务包括调试、回答编程相关的问题以及提供代码建议。Qwen2.5-Coder 特别为编程应用而设计。在本节展示了 Qwen2.5-Coder-7B-Instruct 的性能结果,并将其与领先的开源模型进行了基准测试,其中包括那些参数量大得多的模型。
Qwen2.5-Coder 是您个人编程助手的优秀选择。尽管它的体积较小,但在多种编程语言和任务中,它的表现超过了众多大型语言模型,展现了其卓越的编程能力。
Qwen2.5-Math
在数学专用语言模型方面,通义千问上个月发布了首批模型 Qwen2-Math,而这一次,相比于 Qwen2-Math,Qwen2.5-Math 在更大规模的数学相关数据上进行了预训练,包括由 Qwen2-Math 生成的合成数据。此外,这一次增加了对中文的支持,并通过赋予其进行 CoT(Chain of Thought)、PoT(Program of Thought)和 TIR(Tool-Integrated Reasoning)的能力来加强其推理能力。Qwen2.5-Math-72B-Instruct 的整体性能超越了 Qwen2-Math-72B-Instruct 和 GPT4-o,甚至是非常小的专业模型如 Qwen2.5-Math-1.5B-Instruct 也能在与大型语言模型的竞争中取得高度竞争力的表现。
魔搭社区最佳实践
03.模型链接
Qwen模型下载链接:
https://modelscope.cn/organization/qwen
可以使用ModelScope CLI(首推),Python SDK或者git clone的方式下载。
Qwen2.5系列模型体验:
-
Qwen2.5合集:
-
https://modelscope.cn/studios/qwen/Qwen2.5
-
小程序体验:
-
看图解数学题(Qwen2-VL+Qwen2.5-Math
-
https://modelscope.cn/studios/qwen/Qwen2.5-Math-demo
-
小程序体验:
模型推理
使用transformers推理
from modelscope import AutoModelForCausalLM, AutoTokenizer`` ``model_name = "qwen/Qwen2.5-7B-Instruct"`` ``model = AutoModelForCausalLM.from_pretrained(` `model_name,` `torch_dtype="auto",` `device_map="auto"``)``tokenizer = AutoTokenizer.from_pretrained(model_name)`` ``prompt = "Give me a short introduction to large language model."``messages = [` `{"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},` `{"role": "user", "content": prompt}``]``text = tokenizer.apply_chat_template(` `messages,` `tokenize=False,` `add_generation_prompt=True``)``model_inputs = tokenizer([text], return_tensors="pt").to(model.device)`` ``generated_ids = model.generate(` `**model_inputs,` `max_new_tokens=512``)``generated_ids = [` `output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)``]`` ``response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
模型微调
本文使用ms-swift对qwen2.5和qwen2-vl进行自我认知微调和图像OCR微调,并对微调后的模型进行推理。ms-swift是魔搭社区官方提供的LLM工具箱,支持300+大语言模型和80+多模态大模型的微调到部署。ms-swift开源地址:https://github.com/modelscope/ms-swift
在开始微调之前,请确保您的环境已正确安装
# 安装ms-swift``git clone https://github.com/modelscope/ms-swift.git``cd ms-swift``pip install -e .[llm]`` ``# qwen2-vl``# https://github.com/QwenLM/Qwen2-VL/issues/96``pip install git+https://github.com/huggingface/transformers@21fac7abba2a37fae86106f87fcf9974fd1e3830``# vllm加速``pip install vllm>=0.6.1
通常,大模型微调通常使用自定义数据集进行微调。在这里,我们将展示可直接运行的demo。
Qwen2.5
我们对Qwen2.5-72B-Instruct进行自我认知微调。
自我认知数据集:https://www.modelscope.cn/datasets/swift/self-cognition
通用混合数据集:
https://www.modelscope.cn/datasets/AI-ModelScope/Magpie-Qwen2-Pro-200K-English
https://www.modelscope.cn/datasets/AI-ModelScope/Magpie-Qwen2-Pro-200K-Chinese
微调脚本:
# 实验环境:4 * A100``# 显存占用:4 * 70GB``NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft \` `--model_type qwen2_5-72b-instruct \` `--model_id_or_path qwen/Qwen2.5-72B-Instruct \` `--dataset qwen2-pro-en#500 qwen2-pro-zh#500 self-cognition#500 \` `--logging_steps 5 \` `--learning_rate 1e-4 \` `--output_dir output \` `--lora_target_modules ALL \` `--model_name 小黄 'Xiao Huang' \` `--model_author 魔搭 ModelScope \` `--deepspeed default-zero3`` ``# 单卡A10/3090可运行的例子 (Qwen2.5-7B-Instruct)``# 显存占用:24GB``CUDA_VISIBLE_DEVICES=0 swift sft \` `--model_type qwen2_5-7b-instruct \` `--model_id_or_path qwen/Qwen2.5-7B-Instruct \` `--dataset qwen2-pro-en#500 qwen2-pro-zh#500 self-cognition#500 \` `--logging_steps 5 \` `--max_length 2048 \` `--learning_rate 1e-4 \` `--output_dir output \` `--lora_target_modules ALL \` `--model_name 小黄 'Xiao Huang' \` `--model_author 魔搭 ModelScope
自定义数据集文档可以查看:https://github.com/modelscope/ms-swift/blob/main/docs/source/Instruction/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md
微调显存消耗:
微调过程的loss可视化:
微调后推理脚本如下,这里的ckpt_dir需要修改为训练生成的last checkpoint文件夹。我们可以使用vLLM对merge后的checkpoint进行推理加速:
# 直接推理``CUDA_VISIBLE_DEVICES=0,1 swift infer \` `--ckpt_dir output/qwen2_5-72b-instruct/vx-xxx/checkpoint-xxx \`` ``# merge-lora并使用vLLM进行推理加速``CUDA_VISIBLE_DEVICES=0,1 swift export \` `--ckpt_dir output/qwen2_5-72b-instruct/vx-xxx/checkpoint-xxx \` `--merge_lora true`` ``CUDA_VISIBLE_DEVICES=0,1,2,3 swift infer \` `--ckpt_dir output/qwen2_5-72b-instruct/vx-xxx/checkpoint-xxx-merged \` `--infer_backend vllm --max_model_len 8192 \` `--tensor_parallel_size 4
微调后模型对验证集进行推理的示例:
Qwen2-VL
我们对Qwen2-VL-72B-Instruct进行OCR微调。Grouding任务和视频微调的例子可以查看ms-swift文档:https://github.com/modelscope/ms-swift/blob/main/docs/source/Multi-Modal/qwen2-vl%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md
微调数据集:https://modelscope.cn/datasets/AI-ModelScope/LaTeX_OCR
微调脚本:
# 实验环境:8 * A100``# 显存占用:``SIZE_FACTOR=8 MAX_PIXELS=602112 \``NPROC_PER_NODE=8 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \``swift sft \` `--model_type qwen2-vl-72b-instruct \` `--model_id_or_path qwen/Qwen2-VL-72B-Instruct \` `--sft_type lora \` `--dataset latex-ocr-print#20000 \` `--deepspeed default-zero3``如果要使用自定义数据集,只需按以下方式进行指定:``# val_dataset可选,如果不指定,则会从dataset中切出一部分数据集作为验证集` `--dataset train.jsonl \` `--val_dataset val.jsonl \``自定义数据集格式:``{"query": "<image>55555", "response": "66666", "images": ["image_path"]}``{"query": "<image><image>eeeee", "response": "fffff", "history": [], "audios": ["image_path1", "image_path2"]}``{"query": "EEEEE", "response": "FFFFF", "history": [["query1", "response1"], ["query2", "response2"]]}
微调显存消耗:
微调过程的loss可视化:(由于时间原因,这里只微调了250个steps)
微调后推理脚本如下,这里的ckpt_dir需要修改为训练生成的last checkpoint文件夹。我们可以使用vLLM对merge后的checkpoint进行推理加速:
# 直接推理``CUDA_VISIBLE_DEVICES=0,1 swift infer \` `--ckpt_dir output/qwen2-vl-72b-instruct/vx-xxx/checkpoint-xxx \` `--load_dataset_config true`` ``# merge-lora并使用vLLM进行推理加速``CUDA_VISIBLE_DEVICES=0,1 swift export \` `--ckpt_dir output/qwen2-vl-72b-instruct/vx-xxx/checkpoint-xxx \` `--merge_lora true`` ``CUDA_VISIBLE_DEVICES=0,1,2,3 swift infer \` `--ckpt_dir output/qwen2-vl-72b-instruct/vx-xxx/checkpoint-xxx-merged \` `--load_dataset_config true --infer_backend vllm \` `--tensor_parallel_size 4 --max_model_len 16384
微调后模型对验证集进行推理的示例:
模型部署
vLLM部署
modelscope download --model=qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct``vllm serve ./Qwen2.5-7B-Instruct --enable-auto-tool-choice --tool-call-parser hermes
ollama部署
modelscope download --model=qwen/Qwen2.5-3B-Instruct-GGUF --local_dir ./ qwen2.5-3b-instruct-q5_k_m.gguf``ollama create qwen2_5 -f /mnt/workspace/Modelfile``ollama run qwen2_5
Modelfile现已支持function call
FROM /mnt/workspace/qwen2.5-3b-instruct-q5_k_m.gguf`` ``# set the temperature to 0.7 [higher is more creative, lower is more coherent]``PARAMETER temperature 0.7``PARAMETER top_p 0.8``PARAMETER repeat_penalty 1.05``TEMPLATE """{{ if .Messages }}``{{- if or .System .Tools }}<|im_start|>system``{{ .System }}``{{- if .Tools }}`` ``# Tools`` ``You are provided with function signatures within <tools></tools> XML tags. You may call one or more functions to assist with the user query. Don't make assumptions about what values to plug into functions. Here are the available tools:``<tools>{{- range .Tools }}{{ .Function }}{{- end }}</tools>`` ``For each function call, return a JSON object with function name and arguments within <tool_call></tool_call> XML tags as follows:``<tool_call>``{"name": <function-name>, "arguments": <args-json-object>}``</tool_call>{{- end }}<|im_end|>{{- end }}``{{- range .Messages }}``{{- if eq .Role "user" }}``<|im_start|>{{ .Role }}``{{ .Content }}<|im_end|>``{{- else if eq .Role "assistant" }}``<|im_start|>{{ .Role }}``{{- if .Content }}``{{ .Content }}``{{- end }}``{{- if .ToolCalls }}``<tool_call>``{{ range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}}``{{ end }}</tool_call>``{{- end }}<|im_end|>``{{- else if eq .Role "tool" }}``<|im_start|>user``<tool_response>``{{ .Content }}``</tool_response><|im_end|>``{{- end }}``{{- end }}``<|im_start|>assistant``{{ else }}{{ if .System }}<|im_start|>system``{{ .System }}<|im_end|>``{{ end }}{{ if .Prompt }}<|im_start|>user``{{ .Prompt }}<|im_end|>``{{ end }}<|im_start|>assistant``{{ end }}``"""
Swingdeploy云端部署
魔搭的一键部署服务,SwingDeploy,也在第一时间支持了Qwen2.5模型模型的部署,这里以Qwen2.5-3B-Instruct为例,直接使用CPU资源,将模型从ModelScope部署为OpenAI API兼容的专属服务。可从魔搭首页进入“模型服务->部署服务”,或直接访问
https://www.modelscope.cn/my/modelService/deploy
资源选择“函数计算(FC)”进行Serverless服务部署,如果第一次使用,按照页面提示账号绑定和授权即可:
点击“新建部署”后,可调出部署页面:
选择GGUF格式的Qwen2.5-3B模型 “Qwen2.5-3B-Instruct-GGUF”,默认CPU部署即可。等待部署成功后,点击“立即使用”,就可以看到成功部署后使用OpenAI API以及SDK调用Qwen2.5-3B-Instruct模型的方法。拷贝代码即可使用。
Note:因为是serverless部署,不使用的时候不计费,第一次调用可能要稍作等待。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
更多推荐
所有评论(0)