导读

今天，百川智能宣布正式发布并开源Baichuan 2！开源包括Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat与其4bit量化版本，并且均为免费可商用。

 

Baichuan 2 是百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练，在权威的中文和英文 benchmark上均取得同尺寸最好的效果。

 

Baichuan 2 目前在魔搭社区已全面开源上线，大家可以体验起来啦！小编特将最新鲜的魔搭体验、推理最佳实践奉上。

 

环境配置与安装

1. python 3.8及以上版本
2. pytorch 1.12及以上版本，推荐2.0及以上版本
3. 建议使用CUDA 11.4及以上

 

使用步骤

本文主要演示的模型为Baichuan2-7B-Chat和Baichuan2-7B-Base模型，在ModelScope的Notebook的环境（这里以PAI-DSW为例）的配置下运行（显存24G） ：

 

服务器连接与环境准备

1、进入ModelScope首页：modelscope.cn，进入我的Notebook

 

2、选择GPU环境，进入PAI-DSW在线开发环境

 

3、新建Notebook

 

 

 

创空间体验

 

创空间描述：

据官方公布的基准测试数据，Baichuan2-13B相比上一代13B模型，在数学能力（↑49%）、代码能力（↑46%）、安全能力（↑37%）、逻辑推理能力（↑25%）、语义理解能力（↑15%）上均有显著提升。

 

魔搭社区上线了 Baichuan2-13B-Chat的体验Demo（Baichuan2-13B-Chat为Baichuan2-13B系列模型中对齐后的版本），欢迎大家体验实际效果！

 

创空间链接：

https://modelscope.cn/studios/baichuan-inc/Baichuan-13B-Chatdemo/summary

 

晒出一些小编基于各维度随机抽问的一次性测试案例：

• 国际惯例先上自我认知

 

• 数学

 

 

• 编程

 

 

• 安全

 

 

• 逻辑推理

 

 

                             

• 语义理解

 

 

 

模型链接及下载

 

Baichuan2系列模型现已在ModelScope社区开源，包括：

 

百川2-7B-预训练模型：

https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Base/summary

 

百川2-7B-对话模型：

https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Chat/summary

 

百川2-7B-对话模型-int4量化版：

https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Chat-int4/summary

 

百川2-13B-预训练模型：

https://modelscope.cn/models/baichuan-inc/Baichuan2-13B-Base/summary

 

百川2-13B-对话模型：

https://modelscope.cn/models/baichuan-inc/Baichuan2-13B-Chat/summary

 

百川2-13B-对话模型-4bits量化版：

https://modelscope.cn/models/baichuan-inc/Baichuan2-13B-Chat-4bits/summary

 

百川2-7B-训练过程模型：

https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Intermediate-Checkpoints/summary

 

社区支持直接下载模型的repo：

from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('baichuan-inc/Baichuan2-7B-Chat', 'v1.0.0')

 

模型推理

 

推理代码：

import torch
from modelscope import (
    AutoModelForCausalLM, AutoTokenizer, GenerationConfig, snapshot_download
)

model_id = 'baichuan-inc/Baichuan2-7B-Chat'
revision = 'v1.0.0'

model_dir = snapshot_download(model_id, revision=revision)

tokenizer = AutoTokenizer.from_pretrained(model_dir, use_fast=False, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", 
                                             torch_dtype=torch.bfloat16, 
                                             trust_remote_code=True)
model.generation_config = GenerationConfig.from_pretrained(model_dir)

messages = []
messages.append({"role": "user", "content": "世界第一高峰是哪个"})
response = model.chat(tokenizer, messages)
print(response)

 

资源消耗：

 

 

 

模型微调和微调后推理

 

 

微调代码开源地址:

https://github.com/modelscope/swift/blob/main/examples/pytorch/llm

 

clone swift仓库并安装swift

git clone https://github.com/modelscope/swift.git
cd swift
pip install .
cd examples/pytorch/llm

 

模型微调脚本 (lora_ddp)

# 4 * 22GB VRAM
nproc_per_node=4
CUDA_VISIBLE_DEVICES=0,1,2,3 \
torchrun \
    --nproc_per_node=$nproc_per_node \
    --master_port 29500 \
    src/llm_sft.py \
    --model_type baichuan2-7b-chat \
    --sft_type lora \
    --template_type baichuan \
    --dtype bf16 \
    --output_dir runs \
    --ddp_backend nccl \
    --dataset alpaca-en,alpaca-zh \
    --dataset_sample 20000 \
    --num_train_epochs 1 \
    --max_length 1024 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --lora_dropout_p 0.05 \
    --lora_target_modules W_pack o_proj \
    --gradient_checkpointing true \
    --batch_size 1 \
    --weight_decay 0. \
    --learning_rate 1e-4 \
    --gradient_accumulation_steps $(expr 16 / $nproc_per_node) \
    --max_grad_norm 0.5 \
    --warmup_ratio 0.03 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 2 \
    --logging_steps 10 \
    --push_to_hub false \
    --hub_model_id baichuan2-7b-chat-lora \
    --hub_private_repo true \
    --hub_token 'your-sdk-token' \

 

模型微调后的推理脚本

# 16G
CUDA_VISIBLE_DEVICES=0 \
python src/llm_infer.py \
    --model_type baichuan2-7b-chat \
    --sft_type lora \
    --template_type baichuan \
    --dtype bf16 \
    --ckpt_dir "runs/baichuan2-7b-chat/vx_xxx/checkpoint-xxx" \
    --eval_human true \
    --max_new_tokens 1024 \
    --temperature 0.9 \
    --top_k 50 \
    --top_p 0.9 \
    --do_sample true \

 

微调的可视化结果

训练损失:

 

 

评估损失

 

 

资源消耗：4 * 22G

 

点击链接直达Baichuan2-13B-Chat创空间体验

https://modelscope.cn/studios/baichuan-inc/Baichuan-13B-Chatdemo/summary