AutoDL算力云使用llama_factory微调Qwen2.5-7B实战
#AutoDL #GPU #租显卡


前言

对于正在研究的大模型数理化增强项目需要使用llama_factory对Qwen2.5进行微调,由于之前进行Yolov8研究AutoDL算力云给我留下了方便快捷、价廉物美的印象,所以这次继续在AutoDL算力云上进行研究。

一、前期准备

经过仔细考虑选择了AutoDL算力云的三张4090进行并卡训练。
在这里插入图片描述首先选择合适的机子进行创建
![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/6b1e09a7856f49698f2ed1ed0b6bedb6.png我这里选择基础镜像自己配置,当然也可以选择llama_factory的社区镜像,这样节省大量配置时间
在这里插入图片描述为了方便,我没有使用huggingface,而是用魔搭社区下载了自己要的模型
在这里插入图片描述将下载好的模型上传到自己刚刚租好的服务器上
在这里插入图片描述

回到AutoDL算力云控制台,进入自己服务器的jupyterlab,运行llama_factory的webui
在这里插入图片描述
这里需要使用AutoDL官方的SSH隧道工具,如上图配置,具体下载不赘述
在这里插入图片描述点击链接即可进入llama_factory的webui,这时将右上角改为刚刚下载的模型路径即可完成初步准备工作

二、训练自己的数据集

1.数据集json配置

在这里插入图片描述

在llama_factory的路径下有data文件夹,将自己的数据集json文件放入该文件夹中,随后修改dataset_info.json,添加自己的数据集文件的配置,具体配置格式在data文件夹下的readme.md里有说明

2.开始训练

以pre-training为例
在这里插入图片描述修改微调方法为pre-training并选择数据集
在这里插入图片描述点击预览命令即可查看微调参数,然后点击开始,训练就开始了

3.完成训练

训练结束后,webui界面会生成训练结果和loss图,这时我们就可以对结果进行分析

4.结果验证

在这里插入图片描述训练结束后,选择evaluation&predict和验证集,即可开始验证

总结

AutoDL算力云是一个非常方便快捷且物美价廉的平台,提供的按小时租赁服务器的服务能够极大地满足我们的训练需要,尤其是对于囊中羞涩的学生党来说。如果你也想要像我一样使用llama_factory进行大模型微调,AutoDL算力云是一个绝佳的选择。

Logo

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!

更多推荐