简绍

Ollama 是一个开源的本地化工具，专为在个人计算机上高效运行大型语言模型（LLM）而设计。它简化了复杂模型的部署流程，支持用户无需依赖云端服务即可在本地体验如 Llama 2、Mistral、Gemma 等先进模型，适合开发测试、隐私敏感场景及学习研究。

核心功能

• 本地化运行
  • 直接在本地设备（支持 macOS/Linux，Windows 可通过 WSL 或社区方案）运行模型，避免数据外传，增强隐私保护。
• 多模型支持
  • 提供预置模型库，一键下载运行，例如：llama2、mistral、vicuna 等，并支持自定义模型导入。
• 轻量级与跨平台
  • 依赖少，安装便捷，通过命令行快速交互，同时提供 REST API 便于集成到其他应用。
• 资源优化
  • 针对消费级硬件优化，合理利用 CPU/GPU 资源，降低本地运行大模型的门槛。

优点与局限

优点
✅ 数据隐私性强
✅ 简化本地部署，适合快速实验
✅ 活跃社区支持，持续更新模型生态
局限
❌ 对硬件要求较高（需至少 8GB RAM，推荐 16GB+）
❌ 部分超大模型（如 70B 参数版本）仍需高端显卡
❌ 功能较基础，复杂需求需结合其他工具链

官网地址

https://ollama.com/

安装

按照指示一路向下就可以了

设置模型文件保存地址

此电脑 右键属性

高级系统设置 环境变量， 添加一条 models 模型存放地址
OLLAMA_MODELS

如果不设置环境变量，模型文件会自动保存在C盘。时间久了，C盘很容易存满。

ollama gui页面

需要安装 python 3.11 版本

作者 github 地址
https://github.com/chyok/ollama-gui
打开 cmd 命令

pip install ollama-gui
ollama-gui 或者 python -m ollama_gui

可以查看 ollama 中已存在的模型

ollama webui

安装 open-webui 使用 信息

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v C:\ollama-web-ui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

访问地址：
http://127.0.0.1:3000 或者服务器ip地址
可以通过 web ui 配置 ollama 进行使用

ollama 跟 docker dify 集成

使用 docker 内部网络配置
http://host.docker.internal:11434

ollama 命令

ollama 命令示例：

• 列出可用模型
  • 使用 ollama list 或 ollama ls 来查看当前系统上已下载的所有模型列表。
• 下载模型
  • 使用 ollama pull 来下载特定的大模型到本地环境。
• 运行模型
  • 使用 ollama run 可以启动指定的模型，并进入交互模式或通过提供额外参数来指定输入输出等行为。
• 删除模型
  • 如果需要删除某个不再使用的模型，可以使用 ollama rm 。
• 帮助信息
  • 获取所有命令的帮助信息，可以通过执行 ollama --help 或针对特定命令如 ollama run --help 获取详细说明。

ollama 导入 gguf 模型

gguf 模型 下载 地址:
魔塔社区：https://www.modelscope.cn/my/overview
huggingface：https://huggingface.co/

新建创建 Modelfile 文件 跟模型文件放一起

FROM ./对应模型名称加后缀
TEMPLATE """[INST] <>{{ .System }}<>
{{ .Prompt }} [/INST]
"""
PARAMETER temperature 1.0
PARAMETER top_k 100
PARAMETER top_p 1.0
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "<>"
PARAMETER stop "<>"
SYSTEM """
You are a helpful assistant that answers all questions asked of it in 
the style of a 1930's mafia mobster
"""

创建到 ollama 里使用

ollama create mymodel -f Modelfile

还是推荐官方模型， 第三方导入的 modefile 配置有点不太正常