【自然语言处理与大模型】魔塔社区免费实例中使用ollama快速部署llama3

在ModelScope魔塔社区提供的免费实例，使用ollama部署开源llama3模型。

小oo呆

3376人浏览 · 2024-11-19 03:04:32

小oo呆 · 2024-11-19 03:04:32 发布

在ModelScope魔塔社区提供的免费实例，部署开源llama3模型。

一、申请使用魔塔免费实例

注册登录进入魔塔社区后点击左侧的“我的Notebook”即可申请免费的GPU环境免费实例。

Notebook功能概述 · 文档中心https://modelscope.cn/docs/notebooks/intro 【注】魔塔社区的这个免费实例是没办法访问huggingface外网的。带有一个数据盘/mnt/workspace可以持久化存储100G。以及自带了ModelScope的SDK。

二、安装ollama并部署模型

使用ollama来本地化部署非常便捷，并且开放了API供外部调用llama3模型。

# ollama的下载地址
https://ollama.com/download/linux

复制命令后打开终端输入命令并执行安装ollama

执行下面这行命令来启动ollama的服务。服务启动后不要关闭这个终端，不然服务就停止了。

ollama serve

重新打开一个终端并且执行run命令下载llama3模型。我这里下载的是1b参数的llama3.2模型

ollama run llama3.2:1b

【注】由于模型都是通过Git存储，所以也可以在安装Git LFS后，通过git clone的方式在本地下载模型。这种方式在我上一篇大模型部署的文章中有演示，这里就不展开了。

三、使用API调用模型

创建一个ipynb文件，来试着调用一下ollama的API看能否使用llama3

使用OpenAI的SDK来测试是否能够调用。

# 导入OpenAI库
from openai import OpenAI

# 创建OpenAI客户端实例，指定基础URL和API密钥
client = OpenAI(
    base_url='http://localhost:11434/v1/',  # 本地服务器的基础URL
    api_key='ollama'  # API密钥
)

# 使用客户端发送聊天完成请求，指定模型和消息内容
response = client.chat.completions.create(
    model='llama3.2:1b',  # 使用的模型名称，要和ollama run llama3.2:1b保存一致
    messages=[
        {'role': 'system', 'content': 'you are a helpful assistant.'},  # 系统角色及其内容
        {'role': 'user', 'content': 'hello!'}  # 用户角色及其内容
    ]
)

# 打印响应中的第一个消息的内容
print(response.choice[0].message.content)