Qwen2-VL series 技术报告解读

知乎：Cassie链接：https://zhuanlan.zhihu.com/p/721908386写在前面Qwen团队在 2024年9月19日开源了Qwen2-VL-72B 模型，并发布了技术报告。这里简单介绍下“国货之光”——Qwen2-VL-72B 的技术细节。1. Contributions(1) 多语言模型Qwen 在多语言OCR任务上的表现。(2) 支持任意分辨率、比例的素材(img

zenRRan

1965人浏览 · 2024-09-26 23:52:51

zenRRan · 2024-09-26 23:52:51 发布

知乎：Cassie
链接：https://zhuanlan.zhihu.com/p/721908386

写在前面

Qwen团队在 2024年9月19日开源了Qwen2-VL-72B 模型，并发布了技术报告。这里简单介绍下“国货之光”——Qwen2-VL-72B 的技术细节。

1. Contributions

(1) 多语言模型

Qwen 在多语言OCR任务上的表现。

(2) 支持任意分辨率、比例的素材(img + video + text)输入，在视觉评测集(DocVQA, InfoVQA, RealWorldQA, MTVQA, MathVista等)上取得SoTA结果

当前的LVLM是把输入的图片处理成固定尺寸，例如224*224，作者认为这会限制模型捕捉不同尺度信息的能力，同时会使高分辨率图像丢失太多信息；

vision encoder的训练不够，有研究通过ft vision encoder获得了模型性能的提升；

为了提升作者对不通分辨率图片的处理能力，作者移除了绝对位置编码PE，引入了2D Rotary Position Embedding。

(3) 支持img + video + text等多种模态的输入，支持20分钟以上视频输入

位置编码移除LLM中的1D-RoPE，将其分解为components: temporal, height, and width；

引入Multimodal Rotary Position Embedding (M-RoPE)。例如对text输入，distinct-IDs退化为1D-RoPE；对image输入，distinct-IDs是由height & width components决定的；对于video输入，distinct-IDs是由height & width + temporal决定的。

2. Approach

(1) 范式vision encoder(ViT) + LLM (无adapter)

模型结构。

(2) 参数量

三种规模的参数量。

3. Training details

(1) Parallelism: 同时应用Data Parallelism, Tensor Parallelism, Pipeline Parallelism, Sequence parallelism。

(2) 分布式: deepspeed zero_1。

(3) Image and Video放在一起训练。video每秒抽两帧，image每张复制一份，即image跟video保持一致一起训。vit的时候，数据用了3D convolution，从而保持帧间连贯性。

(4) 3-stage training 其中llm由QWen2初始化来的，ViT由DFN初始化来；

model	stage aim	datasets
	freeze llm，train ViT	learning image-text relationships
	unfreeze llm，train llm+ViT	facilitating a more nuanced understanding of the interplay between visual and textual information，提升关键的文字理解能力
	freeze ViT，train llm(instruction ft)	develop a more versatile and robust language model capable of handling complex, multimodal tasks in addition to traditional text-based interactions