导读

Google面向全球研究人员和开发者发布并开源 Gemma 2 大语言模型！本次Gemma 2 系列为轻量级开放模型，提供9B和27B参数两种尺寸，采用全新的架构设计，性能表现优异。

官方技术报告总结，Gemma 2是一种新的开放模型标准，旨在实现效率和性能的最优化：

27B版本性能在基准测试中超越了比其规模大两倍的模型，这一突破性的效率为开放模型领域树立了新标准；
27B模型可用在单个Google Cloud TPU主机、NVIDIA A100 80GB GPU 或NVIDIA H100 GPU上全精度高效运行推理，大幅降低成本的同时保持高性能，让模型部署更普及、实惠；
Gemma 2经过优化，可在各种硬件上以惊人的速度运行，从功能强大的游戏笔记本电脑和高端台式机，到基于云的设置。

技术报告：

https://blog.google/technology/developers/google-gemma-2

Benchmark

以下为大家带来新鲜的Gemma 2 魔搭社区推理、微调最佳实践教程。

环境配置与安装

本文使用的模型为模型，可在ModelScope的Notebook的环境的配置下运行（显存24G）。

环境配置与安装

本文主要演示的模型推理代码可在魔搭社区免费实例PAI-DSW的配置下运行（显存24G）：

点击模型右侧Notebook快速开发按钮，选择GPU环境

打开Notebook环境：

模型链接和下载

HF格式模型链接：

https://modelscope.cn/models/LLM-Research/gemma-2-9b-it

社区支持直接下载模型的repo：

from modelscope import snapshot_download
model_dir = snapshot_download("LLM-Research/gemma-2-9b-it")

或者使用CLI下载

modelscope download --model=LLM-Research/gemma-2-9b-it --local_dir .

GGUF格式模型链接：

https://modelscope.cn/models/LLM-Research/gemma-2-9b-it-GGUF

GGUF模型下载：

modelscope download --model=LLM-Research/gemma-2-9b-it-GGUF --local_dir . gemma-2-9b-it-Q5_K_L.gguf

Gemma2模型推理

升级transformers

!pip install "transformers==4.42.1" --upgrade

模型推理

# pip install accelerate
from modelscope import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("LLM-Research/gemma-2-9b-it")
model = AutoModelForCausalLM.from_pretrained(
    "LLM-Research/gemma-2-9b-it",
    device_map="auto",
    torch_dtype=torch.bfloat16
)

input_text = "Write me a poem about Machine Learning."
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

显存占用：

使用Ollama推理

Ollama 是一款极其简单的基于命令行的工具，用于运行 LLM。它非常容易上手，可用于构建 AI 应用程序。

Linux环境使用

Liunx用户可使用魔搭镜像环境安装【推荐】

git clone https://www.modelscope.cn/modelscope/ollama-linux.git
cd ollama-linux
sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh

启动Ollama服务

ollama serve

创建ModelFile

复制模型路径，创建名为“ModelFile”的meta文件，内容如下：

FROM /mnt/workspace/gemma-2-9b-it-Q5_K_L.gguf

PARAMETER stop "<start_of_turn>"
PARAMETER stop "<end_of_turn>"

TEMPLATE """<start_of_turn>user
{{ if .System }}{{ .System }} {{ end }}{{ .Prompt }}<end_of_turn>
<start_of_turn>model
{{ .Response }} <end_of_turn>"""

# set the system message
SYSTEM """
You are a helpful assistant.
"""

创建自定义模型

使用ollama create命令创建自定义模型

ollama create mygemma2 --file ./ModelFile

运行模型：

ollama run mygemma2

Gemma2中文增强&自我认知微调

我们介绍使用ms-swift对gemma2-9b-it进行中文增强&自我认知微调，并对微调前后模型进行推理与评测效果展示。ms-swift是魔搭社区官方提供的LLM工具箱，支持250+大语言模型和35+多模态大模型的微调、推理、量化、评估和部署，包括：Qwen、Llama、GLM、Internlm、Yi、Baichuan、DeepSeek、Llava等系列模型。代码开源地址：https://github.com/modelscope/swift

ms-swift已接入gemma2系列模型，包括：gemma2-9b, gemma2-9b-it, gemma2-27b, gemma2-27b-it。这里，我们对gemma2-9b-it使用经清洗的中英文SFT通用、代码和数学数据集进行中文增强，并使用自我认知数据集修改模型对自己和作者的认知。

我们使用的数据集链接如下：

SFT数据集：

https://modelscope.cn/datasets/swift/swift-sft-mixture

自我认知数据集：

https://modelscope.cn/datasets/swift/self-cognition

环境准备:

# 设置pip全局镜像 (加速下载)
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
# 安装ms-swift
git clone https://github.com/modelscope/swift.git
cd swift
pip install -e '.[llm]'
# 安装评测相关依赖
pip install -e '.[eval]'

# gemma2依赖
pip install transformers>=4.42

# 如果要使用vllm对gemma2进行推理加速, 需要使用源代码方式进行安装
git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e .

原始模型的推理：

# Experimental environment: A100
# 如果是本地模型, 需指定`--model_type gemma2-9b-instruct --model_id_or_path <local_path>`
# 如果使用原生pytorch进行推理, 请设置`--infer_backend pt`
CUDA_VISIBLE_DEVICES=0 swift infer \
    --model_id_or_path LLM-Research/gemma-2-9b-it \
    --infer_backend vllm

原始模型的评测与结果：

# Experimental environment: A100
# 评测后端由llmuses库提供: https://github.com/modelscope/eval-scope
# 推荐使用vllm进行推理加速. 如果使用原生pytorch进行推理, 请设置`--infer_backend pt`
CUDA_VISIBLE_DEVICES=0 swift eval \
    --model_id_or_path LLM-Research/gemma-2-9b-it \
    --eval_dataset arc ceval gsm8k mmlu --eval_backend Native \
    --infer_backend vllm

Model	arc	ceval	gsm8k
llama3-8b-instruct	0.7628	0.5111	0.7475
gemma2-9b-instruct	0.8797	0.5275	0.8143

gemma2-7b-it的中文增强微调：

这里为了降低训练的时间，对数据集进行了较少的采样。如果要想进行更多数据集的微调，可以适当增大混合的比例，例如：`--dataset swift-mix:sharegpt#50000 swift-mix:firefly#20000 swift-mix:codefuse#20000 swift-mix:metamathqa#20000 self-cognition#1000`。

我们对embedding层、所有的linear层和lm_head层加上lora，并设置layer_norm层可训练。我们在中文增强的同时，修改模型的自我认知，让模型认为自己是小黄，由魔搭创建。

# Experimental environment: 4 * A100
# 4 * 80GB GPU memory
# 如果是本地模型, 需指定`--model_type gemma2-9b-instruct --model_id_or_path <local_path>`

nproc_per_node=4

MASTER_PORT=29500 \
NPROC_PER_NODE=$nproc_per_node \
CUDA_VISIBLE_DEVICES=0,1,2,3 \
swift sft  \
    --model_id_or_path LLM-Research/gemma-2-9b-it \
    --dataset swift-mix:sharegpt#10000 swift-mix:firefly#5000 swift-mix#5000 swift-mix:metamathqa#5000 self-cognition#500 \
    --lora_target_modules EMBEDDING ALL lm_head \
    --lora_modules_to_save LN \
    --adam_beta2 0.95 \
    --learning_rate 5e-5 \
    --num_train_epochs 5 \
    --eval_steps 100 \
    --max_length 8192 \
    --gradient_accumulation_steps $(expr 64 / $nproc_per_node) \
    --model_name 小黄 'Xiao Huang' \
    --model_author 魔搭 ModelScope \
    --save_total_limit -1 \
    --logging_steps 5 \
    --use_flash_attn true \

训练损失可视化：

资源占用：

微调后模型的推理：

# Experimental environment: A100
CUDA_VISIBLE_DEVICES=0 swift infer \
    --ckpt_dir output/gemma2-9b-instruct/vx-xxx/checkpoint-xxx \
    --infer_backend vllm --merge_lora true

微调后模型的评测与结果：

# Experimental environment: A100
# 评测后端由llmuses库提供: https://github.com/modelscope/eval-scope
CUDA_VISIBLE_DEVICES=0 swift eval \
    --ckpt_dir output/gemma2-9b-instruct/vx-xxx/checkpoint-xxx \
    --eval_dataset arc ceval gsm8k mmlu --eval_backend Native \
    --infer_backend vllm --merge_lora true

微调得到的模型将在之后上传modelscope