FLUX.1 AI 是由Black Forest Labs 团队开发的具有革命性的文本生成图像大模型。它运用了众多的新技术和方法,能够将用户输入的文本描述转化为高清晰度、富有创意的图像。用户可以根据不同的需求选择生成的图像风格,例如写实、抽象、卡通、科幻等。此外,FLUX.1 支持多种输出格式,适用于广告、设计、社交媒体等多个领域。套件包括三个模型,按性能由高到低排列为:FLUX.1 [pro] ,FLUX.1 [dev],FLUX.1 [schnell]。

ComfyUI 是一个功能强大、灵活且模块化的图像生成用户界面,特别适合那些希望精确控制图像生成过程的用户。通过其可视化工作流设计,用户能够轻松构建和调整复杂的图像生成管线,使得图像生成变得更加直观和高效,在实际应用中它往往是文生图模型的载体。

本篇将为各位同学讲解如何在你的电脑上搭建ComfyUI + Flux.1,让你免费踏入AI 炼图的自由世界。由于ComfyUI 团队在10月22日发布了 ComfyUI V1一键安装包,并且开始内测,目前支持Windows 和 MacOS 系统,有兴趣的同学可以去官网:https://www.comfy.org/waitlist?ref=blog.comfy.org , 申请内测资格。剩下的Liunx用户,搭建这套系统就更具挑战性了,大家可以跟随以下内容一步步搭建属于自己的AI绘图系统。

01

部署ComfyUI

要在本地顺利运行ComfyUI + FLUX.1 我建议系统要求:显卡 nvidia RTX3080 以上,显存>12G,CUDA版本>=11.8,硬盘空间 > 50G, 内存 >= 16G , 系统要求有点高,毕竟大模型需要跑起来,要不买云服务器也是推荐的。

1. 克隆 ComfyUI

git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI

2. 安装Miniconda

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py311_24.7.1-0-Linux-x86_64.sh

下载完成后安装。

bash Miniconda3-py311_24.7.1-0-Linux-x86_64.sh

安装过程中,需要按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes 并按 Enter 键。

验证,执行以下指令验证安装

conda --version

激活miniconda

source ~/miniconda3/bin/activate

3. 创建虚拟环境

安装Miniconda的目的就是要为python运行创建虚拟环境,以解决包的依赖问题。

conda create --name ComfyUI python=3.12``conda activate ComfyUI

4. 安装 pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu124

5. 安装 ComfyUI 的依赖包

pip install -r requirements.txt

以上4.5步需要下载很多大文件,需时较长,大家安装过程中耐心等待,如网络原因中断了,可以重来,我断断续续的装了差不多4个小时,至此 ComfyUI 安装完成。

02

下载FLUX.1 模型

国内用户,我推荐去魔塔社区:https://modelscope.cn/home下载模型,速度较快,无需用 key 授权,基本与hugging face结构相同。

1 . Flux.1系列模型有三个:Flux.1[pro]是闭源的,可以从官方 API 申请访问权限,同时支持企业定制。Flux.1[dev]开源,不可商用,直接从 FLUX.1 [pro] 蒸馏而来,具备相似的图像质量和提示词遵循能力,但是更高效。Flux.1[schnell]:开源模型,可商用,专门为本地开发和个人使用量身定制,生成速度最快,内存占用也最小,我们先选择 Flux.1[schnell] 下载

进入 FLUX.1-schnell 页面后,点模型文件,下载两个文件flux1-schnell.safetensorsSafetensors 和 ae.safetensors,见下图:

  1. 下载Clip模型

搜索 flux_text_encoders ,进入flux_text_encoders 页面,点模型文件,下载两个文件 clip_l.safetensors 和 t5xxl_fp16.safetensors ,见下图:

下载clip_l和t5xxl模型,其中t5xxl模型有两个,根据自己的显卡情况二选一下载(如果你有超过 16GB 的 显存,建议使用 fp16)。

3. 把以上4个文件放入对应的ComfyUI文件夹中:

flux1-schnell.safetensorsSafetensors 放入 /ComfyUI/models/unet/

ae.safetensors 放入 /ComfyUI/models/vae/

clip_l.safetensors 放入 ComfyUI/models/clip/

t5xxl_fp16.safetensors 放入 ComfyUI/models/clip/

4. 下载工作流

打开ComfyUI_examples :https://comfyanonymous.github.io/ComfyUI_examples/flux/ , 看到此图后把图像拖入ComfyUI的界面中,就会生成工作流。另外也可以搜索现成的Flux.1-schnell工作流文件, 下载后用页面的 “LOAD” 按钮加载。

03

运行

通过以上配置,应该可以正常运行ComfyUI + Flux.1-schnell 了,在终端中运行以下指令:

python3 main.py

如果看到提示:

/home/*******/miniconda3/envs/ComfyUI/lib/python3.12/site-packages/kornia/feature/lightglue.py:44:

FutureWarning: `torch.cuda.amp.custom_fwd(args…)` is deprecated. Please use `torch.amp.custom_fwd(args…, device_type=‘cuda’)` instead.

根据提示,我们更改一下代码,打开:/home/******/miniconda3/envs/ComfyUI/lib/python3.12/site-packages/kornia/feature/lightglue.py 文件,

44行改成:

@torch.amp.custom_fwd(cast inputs=touch.float32, device_type='cuda')

然后重新执行

python3 main.py
Import times for custom nodes:`   `0.0 seconds: /home/tommy/ComfyUI/custom_nodes/websocket_image_save.py``   ``   ``Starting server``   ``   ``To see the GUI go to: http://127.0.0.1:8188

看到以上信息,可以就用浏览器打开 :http://127.0.0.1:8188

打开ComfyUI页面后,记得先按之前的方法加载工作流。

然后就可以畅快地进行你的AI绘图创作之旅了。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
在这里插入图片描述

img

Logo

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!

更多推荐