Qwen2整体介绍

Qwen2开源模型下载

Demo使用

Git

官方使用文档

变化

1、增大了上下文长度支持，Qwen2-72B-Instruct支持128K tokens，并且处理完美

2、代码和数学能力显著提升

3、多个评测基准上的领先表现

4、中英之外增加了27种语言相关的高质量数据

5、开源了Agent解决方案，用于高效处理 1000K tokens的上下文

「大量精力：如何扩展多语言预训练 和指令微调数据的规模并提升质量，提升模型的多语言能力」

Agent 应用

博客

代码

核心：通过分块+能处理8K上下文的LLM 不断总结归纳，来解决1000K上下文的理解任务。

方案：构建三个级别的Agent，这一部分建议详读，很不错。

级别一：先用LLM来对user query进行“信息”和“指令”的抽取，然后用LLM对信息进行翻译，多语言的角度用BM25来提取相关块…

级别二：为了减少 因关键词重叠度不足导致的 上下文错过 的问题，用LLM来判断块和query的相关度，用相关块的相关句子 而不是 query当中的 关键词来检索 最相关的块。

级别三：另外训练一个用于规划的LLM，用级别二的llm作为tool，实现逐级推理

基础

GQA

作用：推理加速、降低显存占用

MHA | MQA | GQA | MLA

tie embedding

场景：针对7B以下的小模型，比如0.5B、1.5B的

作用：让输入和输出层共享参数，增加非embedding参数的占比

长文本处理

YARN

论文地址

Dual Chunk Attention

论文地址

开源生态

一些数字

期待

期待QwenVL开源版本的更新