引言

最近Moonshot AI推出了 Kimi-VL，这是一个高效的开源混合专家（MoE）视觉-语言模型（VLM），它提供了先进的多模态推理、长上下文理解以及强大的代理能力——所有这些功能都只需激活其语言解码器中的2.8B参数（Kimi-VL-A3B）。

课代表敲黑板，Kimi-VL 在多个具有挑战性的领域中表现出色：

1. 作为一个通用的 VLM，Kimi-VL 在多轮次代理交互任务（例如，OSWorld）上表现出色，达到了与旗舰模型相当的最先进结果。
2. 它在多种多样且具有挑战性的视觉语言任务中展示了非凡的能力，包括大学水平的图像和视频理解、光学字符识别 (OCR)、数学推理、多图像理解等。
3. 在对比评估中，它有效地与 GPT-4o-mini、Qwen2.5-VL-7B 和 Gemma-3-12B-IT 等前沿高效 VLM 竞争，并在几个专业领域超越了 GPT-4o。
4. 模型配备了一个 128K 的扩展上下文窗口，Kimi-VL 可以处理长而多样化的输入，在 LongVideoBench 上得分为 64.5，在 MMLongBench-Doc 上得分为 35.1；
5. 其原生分辨率视觉编码器 MoonViT 进一步使其能够看到并理解超高分辨率的视觉输入，在 InfoVQA 上得分为 83.2，在 ScreenSpot-Pro 上得分为 34.5，同时在处理常见的视觉输入和一般任务时保持较低的计算成本。

基于这一基础，Moonshot同时推出了：Kimi-VL-Thinking。通过长链思维（CoT）监督微调（SFT）和强化学习（RL）开发，该模型展现出强大的长期推理能力。它在 MMMU 上得分 61.7，在 MathVision 上得分 36.8，在 MathVista 上得分 71.3，同时保持紧凑的 2.8B 激活 LLM 参数量，为高效且能力强的多模态思考模型树立了新标准。

模型架构

该模型采用 MoE 语言模型、原生分辨率视觉编码器（MoonViT）和 MLP 投影仪，如下图所示。

模型列表

对于一般的多模态感知和理解、OCR、长视频和长文档、视频感知以及代理用途，推荐使用 Kimi-VL-A3B-Instruct 以实现高效的推理；对于高级文本和多模态推理（例如数学），请考虑使用 Kimi-VL-A3B-Thinking。

模型性能

凭借有效的长思考能力，Kimi-VL-A3B-Thinking 在 MathVision 基准测试中的表现可以与 30B/70B 的前沿开源 VLMs 相媲美：

模型推理

使用 transformers 库使用Thinking模型。

from PIL import Image
from modelscope import AutoModelForCausalLM, AutoProcessor

model_path = "moonshotai/Kimi-VL-A3B-Thinking"
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)

image_paths = ["./figures/demo1.png", "./figures/demo2.png"]
images = [Image.open(path) for path in image_paths]
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image_path} for image_path in image_paths
        ] + [{"type": "text", "text": "Please infer step by step who this manuscript belongs to and what it records"}],
    },
]
text = processor.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
inputs = processor(images=images, text=text, return_tensors="pt", padding=True, truncation=True).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=2048)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
response = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]
print(response)

显存占用：