作者:老无谈藏书票

模型使用说明:

1.在提示词中需要说明”黑白木刻“,对应的英文提示是”woodcut print,black and white“等字样。

2.生成提示词后,使用”提示词优化“的选项,生图效果更好。

3.一般一次生成 4 张,就能挑选出满意的作品。

4.如果效果不好,可以调整提示词,目前个人试验,各类场景(神话、日常生活、风景、动物等)都能达到较好效果。

炼丹过程

此版本为针对黑白木刻风格进行 Lora 微调的第三代模型,相较于初代版本,在细节刻画与泛化能力上均有显著提升。

在第一版模型的开发中,我们以试验性的心态起步。然而,初版模型由于训练数据有限,效果未能达到预期。在第二版中,我们扩充了数据集,却因图片风格差异过大,导致训练效果不佳。分析原因后,我们推测是训练数据的多样性与质量未能达到要求。于是,我们对数据集进行了优化,剔除了质量欠佳的图片,并增添了风格相近但细节更丰富的图片。同时,我们将前代模型生成的部分优质图片融入数据集中,进一步丰富了训练素材。

在数据准备过程中,我们深刻认识到图片标签的重要性。早期版本中,由于部分标签由智能工具自动生成,存在诸多错误,导致模型训练出现偏差。例如,一张图片中狗趴在树上,智能标签却未能准确识别,将狗误判为树干的一部分。为此,我们对每张图片的标签进行了细致的手动调整,确保标签的准确性,从而大幅提升了模型训练效果。

在模型训练完成后,我们发现提示词对生图效果有着关键性的影响。我们通常先利用 Deepseek 生成初步提示词,再结合魔塔的提示词优化功能进行调整,一般经过两轮优化即可获得较为理想的效果。

尽管当前版本已具备一定的实用性,但仍存在较大的提升空间。未来的工作方向包括:

  1. 拓展训练数据:在保持风格一致的前提下,纳入更多样化的图片,覆盖更广泛的场景。
  2. 精细化标签:在标签中融入版画技法信息,如圆刀、三角刀、平刀等,使模型能够学习技法细节。
  3. 风格融合创新:尝试引入不同风格的数据,探索创新风格的可能性。
  4. 模型参数优化:对模型训练的具体参数进行更细致的调整,以进一步提升模型性能。
  5. 底座模型替换:尝试更换其他底座模型,评估其对生成效果的影响。

 


 

Logo

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!

更多推荐