超快捷的大模型下载方式
大模型一般很大,在部署的时候寻求快速的下载方法很重要。这里介绍了多种大模型下载方法,欢迎交流!
·
大模型下载
1、通过 Hugging Face Transformers 库
Hugging Face 提供了一个非常便捷的接口,可以轻松下载并使用各种预训练模型。以下是使用 Hugging Face Transformers 库下载模型的方式:
from transformers import AutoTokenizer, AutoModel
model_name = "bert-base-uncased" # 可以替换为任何 Hugging Face 支持的模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
在这个过程中,模型和分词器将自动从 Hugging Face 的服务器下载到本地缓存中。默认情况下,这些文件会被保存到 ~/.cache/huggingface/transformers/
目录下。
常见的大模型名称:
- BERT:
"bert-base-uncased"
,"bert-large-uncased"
- GPT-2:
"gpt2"
,"gpt2-medium"
- T5:
"t5-small"
,"t5-large"
- RoBERTa:
"roberta-base"
,"roberta-large"
2、阿里的modelscope上下载
无需vpn,如果你的网速还行,建议这种方式,首先需要安装modelscope:pip install modelscope
# 从modelscope上下载模型
from modelscope import snapshot_download
model_dir = snapshot_download('baichuan-inc/baichuan-7B', cache_dir='./model', revision='master')
超级推荐从modelscope上下载模型,速度很块,而且方便,常见的模型魔塔社区基本都有。
3、huggingface的镜像网站aliendao网站下载
无需vpn,非开发者需手动下载互链高科 (非开发者或者怕麻烦可以直接去网站手动下载)
开发者在aliendao的下载器上下载 下载地址
# 开发者可以直接看这里,这里的操作是在你已经有了一个python3.7以上的环境下,可以直接下述操作
# 如果你没有的话,移步 https://github.com/git-cloner/aliendao
git clone https://github.com/git-cloner/aliendao
cd aliendao
pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host=pypi.mirrors.ustc.edu.cn
# 带上mirror参数,优先从aliendao.cn镜像下载
python model_download.py --mirror --repo_id baichuan-inc/Baichuan2-13B-Chat-4bits
让公司的运维测了,aliendao的带宽很慢,即便你的网速很快,速度也非常一般,而且这个网站模型不全。
4、huggingface的镜像网站
可以在代码中添加镜像源(目前只在云服务器奏效,且容易中断)
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com
补充:热心网友有其他好方法欢迎评论区交流!!!
更多推荐
已为社区贡献2条内容
所有评论(0)