引言

随着大语言模型的发展，参数量逐渐扩大，大语言模型的训练和运行通常需要大量的计算资源，这也限制了大语言模型在一些场景尤其是端侧的应用，所以，探索剪枝，蒸馏等量化方式，已经成为大语言模型研究的一个重要方向。

近期微软开源了bitnet-b1.58-2B-4T模型，bitnet是一种在极低比特权重运行的模型架构。传统的量化如int8量化，甚至更低int4，int2等，通过进一步的降低精度，理论上提升了模型的工作效率，降低了模型工作需要的计算资源，但同时按照经验来看，量化的性能下降风险很大，随着精度的降低，保持模型的准确率越发的困难。

而量化的最终理论极限是1位，其中权重被限制为仅两个值（例如 +1 和 -1）。这就是二值神经网络 (BNN) 的领域。BitNet 的核心思想是通过采用 1 位权重表示来大幅降低 LLM 的计算成本。如果权重为二进制 (+1/-1)，那么 Transformer 中计算最密集的运算——矩阵乘法——可以在很大程度上被简单的加减运算所取代。这有望带来以下优势：

1. 大幅减少内存：存储权重仅需要一位，而不是 16 位或 32 位。

2. 显著加速：加法在计算上比浮点乘法便宜得多。

3. 更低的能耗：操作越简单，消耗的电量就越少。

然而，训练稳定且准确的 BNN，尤其是在 LLM 规模上，已被证明极其困难。在训练过程中直接将权重量化为 +1/-1 可能会阻碍学习过程，通常会导致与全精度模型相比质量损失显著。

虽然最初的 BitNet 概念可能旨在实现纯 1 位权重，但“b1.58”是另一种一种具体的、略有不同的量化方案。此名称对应于1.58 位表示，这在数学上源于使用三进制权重。三进制量化允许权重取三个值： +1、0 或 -1，而不仅仅是两个值 (+1, -1)。

为什么是三进制的？

1. 引入稀疏性：将权重表示为“0”的能力使模型能够有效地“关闭”某些连接，从而引入稀疏性。这有利于提高模型容量，并且可能比纯二元网络（每个连接都必须为正或负）更容易训练。

2. 提升表示能力（相对于 1 位）：虽然精度仍然极低，但三种可能状态（+1、0、-1）比两种状态（+1、-1）提供了略高的灵活性。这种小幅提升对于维持复杂语言任务的性能至关重要。

3. 保持效率：与二进制权重类似，三进制权重仍然允许矩阵乘法以加法/减法为主（乘以 +1、-1 或 0 较为简单）。相比 FP16，其核心效率优势基本保持不变。

“1.58 位”来自信息论计算：log₂(3) ≈ 1.58。每个参数大约需要 1.58 位信息来存储其状态（+1、0 或 -1）。

该实现可能涉及用nn.Linear自定义层替换 Transformer 架构中的标准层，该自定义BitLinear层在前向和后向传递期间对其权重强制实施此三元约束。

同时模型的size为20亿参数量，训练用的tokens为4T。

模型效果

BitNet b1.58 2B4T 与类似规模的领先开放权重全精度LLM 进行了比较。以下是主要结果（所有模型均为指令调优版本）：

最佳实践

使用transformers进行推理：

环境安装：

!pip install git+https://github.com/shumingma/transformers.git

示例代码

import torch
from modelscope import AutoModelForCausalLM, AutoTokenizer

model_id = "AI-ModelScope/bitnet-b1.58-2B-4T"

# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16
)

# Apply the chat template
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "How are you?"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
chat_input = tokenizer(prompt, return_tensors="pt").to(model.device)

# Generate response
chat_outputs = model.generate(**chat_input, max_new_tokens=50)
response = tokenizer.decode(chat_outputs[0][chat_input['input_ids'].shape[-1]:], skip_special_tokens=True) # Decode only the response part
print("\nAssistant Response:", response)

使用bitnet.cpp推理

git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet
# 在个人电脑建议安装虚拟环境
# 在魔搭免费CPU notebook资源不需要安装虚拟环境
# python3.11 -m venv 3.11   
# source 3.11/bin/activate 

pip install -r requirements.txt
pip install modelscope

modelscope download AI-ModelScope/bitnet-b1.58-2B-4T-gguf --local_dir models/BitNet-b1.58-2B-4T

python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnv

推理性能（MAC M2芯片）

点击链接，即可跳转体验~

https://www.modelscope.cn/models/AI-ModelScope/bitnet-b1.58-2B-4T