硬件和网络条件

一台闲置的服务器，Intel® Xeon® CPU E5-2620 v4 @ 2.10GHz * 2，内存128G，网络环境只能访问国内IP。

1.更新Ubuntu22.04的国内镜像源

cd /etc/apt && sudo cp sources.list sources.list.bak && echo "正在写入jammy" &&   sleep 2 && sudo echo -e "deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse" > sources.list && sudo apt update  && cat sources.list

sources.list内容更新为：

deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse

2.安装docker

2.1更新系统包

确保系统包是最新的

sudo apt update
sudo apt upgrade -y

2.2 安装依赖工具

安装 Docker 所需的工具：
sudo apt install -y ca-certificates curl gnupg lsb-release

2.3 添加 Docker 官方 GPG 密钥

为了确保下载的 Docker 包是官方且未被篡改的，需要添加 Docker 的 GPG 密钥。因为网络环境限制，无法访问Docker官方网站，只能从国内镜像网站（阿里）下载。
首先创建 /etc/apt/keyring目录，然后下载密钥。

sudo mkdir -p /etc/apt/keyrings
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

2.4 设置 Docker 的 APT 仓库

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] http://mirrors.aliyun.com/docker-ce/linux/ubuntu/ \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

在/etc/apt/sources.list.d目录下创建docker.list，内容为：

deb [arch=amd64 signed-by=/etc/apt/keyrings/docker.gpg] http://mirrors.aliyun.com/docker-ce/linux/ubuntu jammy stable

2.5 更新 APT 包索引

添加仓库后，更新 APT 包索引

sudo apt update

2.6 安装Docker

sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin

2.7 启动 Docker 服务并验证安装是否成功

sudo systemctl start docker
sudo systemctl enable docker
sudo docker --version

显示Docker版本信息。

2.8 Docker国内镜像源

目前（2025年2月）国内镜像源能打开的很少，所以没有更新Dock的国内镜像源地址

3.安装Open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

4.安装Ollama

因为受网络限制，无法通过ollama官网下载安装文件。这里通过魔塔社区介绍的方法安装。

4.1 安装ModelScope

pip install modelscope 

4.2 使用命令行下载Ollama的linux版本

modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux --revision v0.5.8

4.3 安装Ollama

下载安装包后，可以进入ollama-linux文件夹，确定安装脚本具备运行权限后，运行安装脚本，此脚本无需网络链接即可安装ollama。

# 运行ollama安装脚本
cd ollama-linux
sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh

安装完毕可以使用

ollama -v

查看本版信息，安装成功。

4.4 Ollama参数设置

Ollama参数所在路径为：/etc/systemd/system/ollama.service
输入命令

vim /etc/systemd/system/ollama.service

打开编辑界面，在[Service]部分下添加一行Environment设置环境变量

#设置外网访问，端口为11434
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
#
Environment="OLLAMA_FLASH_ATTENTION=1"

4.5 启动Ollama服务

ollama -serve

启动服务后会生成一个密钥，ollama key。这个在使用open-webui连接时使用。

4.6 下载deepseek模型

使用ollama从魔塔社区下载deepseek模型，ModelScope社区上托管了数千个优质的GGUF格式的大模型（包括LLM和视觉多模态模型），通过ollama run命令，就能直接加载运行ModelScope模型库上的GGUF模型。
具体格式为

ollama run modelscope.cn/{model-id}

我下载的是unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF，7B量化模型

ollama run unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF

相关链接：
https://modelscope.cn/models/modelscope/ollama-linux
https://modelscope.cn/docs/models/advanced-usage/ollama-integration