LLM | 迁移 ollama 模型文件到新机器(支持离线运行)
迁移 ollama 模型文件到新机器的步骤:1. 拷贝 manifests 文件和 blobs 文件。2. 运行。
·
1. 详细步骤
以qwen2.5:0.5b-instruct-fp16
为例
1.1 迁移 manifests 文件
# 本地机器
# 查看 manifests 下的配置文件
more ~/.ollama/models/manifests/registry.ollama.ai/library/qwen2.5/0.5b-instruct-fp16
# 输出类似如下
{
"schemaVersion": 2,
"mediaType": "application/vnd.docker.distribution.manifest.v2+json",
"config": {
"mediaType": "application/vnd.docker.container.image.v1+json",
"digest": "sha256:ff54cb6e5adea7664c2b555d4bbaf5ee5acbb325104fd8db41282cfb866d0c2e",
"size": 487
},
"layers": [
{
"mediaType": "application/vnd.ollama.image.model",
"digest": "sha256:6f96e01a3f550ca08aea1e5725bb8d5a7eccc6f281c30417e9d380b8c46467bd",
"size": 994156864,
"from": "/path/.ollama/models/blobs/sha256-6f96e01a3f550ca08aea1e5725bb8d5a7eccc6f281c30417e9d380b8c46467bd"
},
{
"mediaType": "application/vnd.ollama.image.system",
"digest": "sha256:66b9ea09bd5b7099cbb4fc820f31b575c0366fa439b08245566692c6784e281e",
"size": 68
},
{
"mediaType": "application/vnd.ollama.image.template",
"digest": "sha256:24782485900349ceac7d482c996674daca27a067e15e0902a6e864ca34b51180",
"size": 1441
},
{
"mediaType": "application/vnd.ollama.image.license",
"digest": "sha256:832dd9e00a68dd83b3c3fb9f5588dad7dcf337a0db50f7d9483f310cd292e92e",
"size": 11343
}
]
}
# 本地机器
# 拷贝相关文件(scp或者手动拷贝文件都可以)
cd ~/.ollama/models/manifests/registry.ollama.ai/library/qwen2.5
scp 0.5b-instruct-fp16 username@ip:~/
# 新机器
mv ~/0.5b-instruct-fp16 ~/.ollama/models/manifests/registry.ollama.ai/library/qwen2.5/0.5b-instruct-fp16
1.2 迁移 blobs 文件
# 本地机器
cd .ollama/models/blobs
# 下面一行命令可跳过
ls -lah | grep sha256-ff54cb6e5adea7664c2b555d4bbaf5ee5acbb325104fd8db41282cfb866d0c2e
# 拷贝 0.5b-instruct-fp16 的 config 和 layers 里面的 digest 记录的文件(":" 换成 "-")(其他 4 个文件同理)(手动拷贝文件也可以)
scp sha256-ff54cb6e5adea7664c2b555d4bbaf5ee5acbb325104fd8db41282cfb866d0c2e username@ip:~/
# 新机器
mv username@ip:~/sha256-ff54cb6e5adea7664c2b555d4bbaf5ee5acbb325104fd8db41282cfb866d0c2e ~/.ollama/models/blobs
注:步骤 1.1 的 0.5b-instruct-fp16 里面的 digest 记录的所有文件都要拷贝到新机器
1.3 验证
# 新机器
# 下面一行命令可跳过
ollama list | grep qwen2.5:0.5b-instruct-fp16
ollama run qwen2.5:0.5b-instruct-fp16
更多推荐
已为社区贡献1条内容
所有评论(0)