AutoDL算力云使用llama_factory微调Qwen2.5-7B实战
对于正在研究的大模型数理化增强项目需要使用llama_factory对Qwen2.5进行微调,由于之前进行Yolov8研究AutoDL算力云给我留下了方便快捷、价廉物美的印象,所以这次继续在AutoDL算力云上进行研究。AutoDL算力云是一个非常方便快捷且物美价廉的平台,提供的按小时租赁服务器的服务能够极大地满足我们的训练需要,尤其是对于囊中羞涩的学生党来说。如果你也想要像我一样使用llama_
AutoDL算力云使用llama_factory微调Qwen2.5-7B实战
#AutoDL #GPU #租显卡
前言
对于正在研究的大模型数理化增强项目需要使用llama_factory对Qwen2.5进行微调,由于之前进行Yolov8研究AutoDL算力云给我留下了方便快捷、价廉物美的印象,所以这次继续在AutoDL算力云上进行研究。
一、前期准备
经过仔细考虑选择了AutoDL算力云的三张4090进行并卡训练。首先选择合适的机子进行创建
我这里选择基础镜像自己配置,当然也可以选择llama_factory的社区镜像,这样节省大量配置时间
为了方便,我没有使用huggingface,而是用魔搭社区下载了自己要的模型
将下载好的模型上传到自己刚刚租好的服务器上
回到AutoDL算力云控制台,进入自己服务器的jupyterlab,运行llama_factory的webui
这里需要使用AutoDL官方的SSH隧道工具,如上图配置,具体下载不赘述点击链接即可进入llama_factory的webui,这时将右上角改为刚刚下载的模型路径即可完成初步准备工作
二、训练自己的数据集
1.数据集json配置
在llama_factory的路径下有data文件夹,将自己的数据集json文件放入该文件夹中,随后修改dataset_info.json,添加自己的数据集文件的配置,具体配置格式在data文件夹下的readme.md里有说明
2.开始训练
以pre-training为例修改微调方法为pre-training并选择数据集
点击预览命令即可查看微调参数,然后点击开始,训练就开始了
3.完成训练
训练结束后,webui界面会生成训练结果和loss图,这时我们就可以对结果进行分析
4.结果验证
训练结束后,选择evaluation&predict和验证集,即可开始验证
总结
AutoDL算力云是一个非常方便快捷且物美价廉的平台,提供的按小时租赁服务器的服务能够极大地满足我们的训练需要,尤其是对于囊中羞涩的学生党来说。如果你也想要像我一样使用llama_factory进行大模型微调,AutoDL算力云是一个绝佳的选择。
更多推荐
所有评论(0)