导 读

大模型的一条发展路径是小尺寸的大语言模型，因为尺寸小，有可能以更小的显存运行更强的大模型，并可以和移动端做更好的结合。

 

今天下午，面壁智能正式发布了 2B 旗舰端侧大模型面壁 MiniCPM。

 

MiniCPM是一系列端侧语言大模型，主体语言模型MiniCPM-2B具有2.4B的非词嵌入参数量。在综合性榜单上与Mistral-7B相近（中文、数学、代码能力更优），整体性能超越Llama2-13B、MPT-30B、Falcon-40B等模型。在当前最接近用户体感的榜单MTBench上，MiniCPM-2B也超越了Llama2-70B-Chat、Vicuna-33B、Mistral-7B-Instruct-v0.1、Zephyr-7B-alpha等众多代表性开源大模型。

 

同时，面壁智能发布了多模态小模型的MiniCPM-V（OmniLMM-3B），该模型基于MiniCPM-2B和SigLip-400M构建，通过感知器重采样器连接。多模态小模型带来了更大的想象空间，让我们看到了小型视觉 DIY 机器人项目上运行的实用性，PC端，移动端桌面GUI自动化操作的可行性。

 

开源地址（内含技术报告）如下：

MiniCPM GitHub：https://github.com/OpenBMB/MiniCPM

OmniLMM GitHub：https://github.com/OpenBMB/OmniLMM

 

 

模型链接和下载

MiniCPM系列模型现已在ModelScope魔搭社区开源：

MiniCPM-2B-dpo-fp16：

https://modelscope.cn/models/OpenBMB/MiniCPM-2B-dpo-fp16

 

MiniCPM-2B-dpo-bf16：

https://modelscope.cn/models/OpenBMB/MiniCPM-2B-dpo-bf16

 

MiniCPM-2B-dpo-fp32：

https://modelscope.cn/models/OpenBMB/MiniCPM-2B-dpo-fp32

 

MiniCPM-2B-sft-fp32：

https://modelscope.cn/models/OpenBMB/MiniCPM-2B-sft-fp32

 

MiniCPM-V：

https://modelscope.cn/models/OpenBMB/MiniCPM-V

 

OmniLMM-12B：

https://modelscope.cn/models/OpenBMB/OmniLMM-12B

 

社区支持直接下载模型的repo：

from modelscope import snapshot_download
model_dir = snapshot_download("OpenBMB/MiniCPM-2B-dpo-bf16", revision = "master")

以下为大家带来魔搭社区推理、微调最佳实践教程。

 

环境配置与安装

本文使用的模型为 MiniCPM-2B-dpo-bf16 模型，可在ModelScope的Notebook的环境（这里以PAI-DSW为例）的配置下运行（显存24G） 。

环境配置与安装

本文主要演示的模型推理代码可在魔搭社区免费实例PAI-DSW的配置下运行（显存24G） ：

 

点击模型右侧Notebook快速开发按钮，选择GPU环境

模型推理

 

模型推理

from modelscope import AutoModelForCausalLM, AutoTokenizer
import torch

path = 'OpenBMB/MiniCPM-2B-dpo-bf16'

tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='auto', trust_remote_code=True)

dialog = [{'role': 'user', 'content': '请问中国哪几个城市最适合旅游？'}]

input = tokenizer.apply_chat_template(dialog, tokenize=False, add_generation_prompt=False)
enc = tokenizer(input, return_tensors='pt').to('cuda')

output = model.generate(**enc, max_length=1024)
print(tokenizer.decode(output[0]))

 

 

资源消耗：

模型微调和微调后推理

 

我们使用SWIFT来对模型进行微调, SWIFT是魔搭社区官方提供的LLM&AIGC模型微调推理框架.

微调代码开源地址: https://github.com/modelscope/swift

我们使用数据集jd-sentiment-zh进行微调. 任务是: 对文本进行情感分类.

 

环境准备:

git clone https://github.com/modelscope/swift.git
cd swift
pip install .[llm]

 

微调脚本: LoRA

# https://github.com/modelscope/swift/tree/main/examples/pytorch/llm/scripts/openbmb_minicpm_2b_chat
# Experimental environment: 2 * A10
# 2 * 12GB GPU memory
nproc_per_node=2
 
CUDA_VISIBLE_DEVICES=0,1 \
NPROC_PER_NODE=$nproc_per_node \
MASTER_PORT=29500 \
swift sft \
    --model_id_or_path OpenBMB/MiniCPM-2B-sft-fp32 \
    --model_revision master \
    --sft_type lora \
    --template_type AUTO \
    --dtype AUTO \
    --output_dir output \
    --ddp_backend nccl \
    --dataset jd-sentiment-zh \
    --train_dataset_sample -1 \
    --val_dataset_sample 1000 \
    --num_train_epochs 1 \
    --max_length 2048 \
    --check_dataset_strategy warning \
    --lora_target_modules ALL \
    --gradient_checkpointing true \
    --batch_size 1 \
    --weight_decay 0.01 \
    --learning_rate 1e-4 \
    --gradient_accumulation_steps $(expr 16 / $nproc_per_node) \
    --max_grad_norm 0.5 \
    --warmup_ratio 0.03 \
    --eval_steps 100 \
    --save_steps 100 \
    --save_only_model true \
    --save_total_limit 2 \
    --logging_steps 10 \
    --use_flash_attn false \

 

训练过程支持本地数据集，需要指定如下参数:

--custom_train_dataset_path xxx.jsonl \
--custom_val_dataset_path yyy.jsonl \

 

自定义数据集的格式可以参考：

https://github.com/modelscope/swift/blob/main/docs/source/LLM/自定义与拓展.md

 

微调后推理脚本:

（这里的ckpt_dir需要修改为训练生成的checkpoint文件夹）

# Experimental environment: A10
CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --ckpt_dir "output/openbmb-minicpm-2b-sft-chat/vx_xxx/checkpoint-xxx" \
    --load_dataset_config true \
    --max_length 2048 \
    --use_flash_attn false \
    --max_new_tokens 2048 \
    --do_sample false \

 

训练loss图：

 

训练后生成样例:

[PROMPT]<s> <用户>Task: Sentiment Classification
Sentence: 口感相当的好 都想买第二次了
Category: negative, positive
Output:<AI>[OUTPUT]positive</s>

[LABELS]positive
--------------------------------------------------
[PROMPT]<s> <用户>Task: Sentiment Classification
Sentence: 质量不错，大小合适，应当是正品！但是我买的是黑灰，发来的却是纯黑，懒得换了，给个差评，希望以后改进！
Category: negative, positive
Output:<AI>[OUTPUT]negative</s>

[LABELS]negative
--------------------------------------------------
[PROMPT]<s> <用户>Task: Sentiment Classification
Sentence: 一般吧，冰糖太多了
Category: negative, positive
Output:<AI>[OUTPUT]negative</s>

[LABELS]negative
--------------------------------------------------

点击直达模型卡片modelscope.cn/models/OpenBMB/MiniCPM-2B-dpo-bf16/summary