消费级显卡，17G显存，玩转图像生成模型FLUX.1！

近期stable diffusion的部分核心开发同学，推出了全新的图像生成模型FLUX.1。

魔搭ModelScope社区

3528人浏览 · 2024-08-05 10:40:18

魔搭ModelScope社区 · 2024-08-05 10:40:18 发布

引言

近期stable diffusion的部分核心开发同学，推出了全新的图像生成模型FLUX.1。

从模型架构上看，FLUX.1和SD3有很多相似之处，都是基于FlowingMatching调度的模型，都通过引入T5来增强prompt的依从性。而比较显著的区别在于：flux模型引入了一种叫DoubleStreamBlock的结构，具体来说在前几层layer中，采用了txt和img embedding独立过各自的transformer块，然后再拼到一起过统一的transformer块，我们推测是为了进一步对齐图像和文本特征，但是这部分还没有更具体的技术报告。

FLUX.1在文本控制能力，多主体生成能力，手部生成能力等取得了很好的效果。

FLUX.1提供三种型号：

模型版本	模型链接	License
FLUX.1 [schnell]	https://modelscope.cn/models/AI-ModelScope/FLUX.1-schnell	apache-2.0
FLUX.1 [dev]	https://modelscope.cn/models/AI-ModelScope/FLUX.1-dev	FLUX.1-dev Non-Commercial License
FLUX.1 [pro]	仅可通过API访问

AutoDecoder的权重也在模型repo中一起开源，且开源协议为Apache-2.0。

因为dev版本模型size达到12B，为了可以在消费级显卡使用，社区开发者也分享了fp8版本。

fp8模型链接：https://modelscope.cn/models/AI-ModelScope/flux-fp8

代码链接：https://github.com/black-forest-labs/flux

非常感谢阿里muse团队的魔搭体验链接！

体验链接：https://www.modelscope.cn/studios/muse/flux_dev

小程序也可以使用哦～搜索应用同名即可

实战教程

除了在魔搭创空间上直接体验之外，这里我们提供基于ComfyUI的FLUX模型上手使用体验。ComfyUI是一个功能强大、模块化程度高的AIGC图形和视频生成的用户界面和后台。本文使用ComfyUI，在魔搭社区提供的免费GPU Notebook上，体验FLUX模型的使用：

下载和部署ComfyUI

clone代码，并安装相关依赖：

#@title Environment Setup

from pathlib import Path

OPTIONS = {}

UPDATE_COMFY_UI = True  #@param {type:"boolean"}
WORKSPACE = 'ComfyUI'
OPTIONS['UPDATE_COMFY_UI'] = UPDATE_COMFY_UI

WORKSPACE = "/mnt/workspace/ComfyUI"
%cd /mnt/workspace/

![ ! -d $WORKSPACE ] && echo -= Initial setup ComfyUI =- && git clone https://github.com/comfyanonymous/ComfyUI
%cd $WORKSPACE

if OPTIONS['UPDATE_COMFY_UI']:
  !echo -= Updating ComfyUI =-
  !git pull

!echo -= Install dependencies =-

模型下载

#@markdown ###Download standard resources

### FLUX1-DEV
!modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/unet/ flux1-dev.sft
!modelscope download --model=AI-ModelScope/flux-fp8 --local_dir ./models/unet/ flux1-dev-fp8.safetensors


### Download text encoder model
!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp16.safetensors
!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ clip_l.safetensors
!modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp8_e4m3fn.safetensors


### vae
!modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/vae/ ae.sft

使用cloudflared运行ComfyUI

!wget "https://modelscope.oss-cn-beijing.aliyuncs.com/resource/cloudflared-linux-amd64.deb"
!dpkg -i cloudflared-linux-amd64.deb

import subprocess
import threading
import time
import socket
import urllib.request

def iframe_thread(port):
  while True:
      time.sleep(0.5)
      sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
      result = sock.connect_ex(('127.0.0.1', port))
      if result == 0:
        break
      sock.close()
  print("\nComfyUI finished loading, trying to launch cloudflared (if it gets stuck here cloudflared is having issues)\n")

  p = subprocess.Popen(["cloudflared", "tunnel", "--url", "http://127.0.0.1:{}".format(port)], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
  for line in p.stderr:
    l = line.decode()
    if "trycloudflare.com " in l:
      print("This is the URL to access ComfyUI:", l[l.find("http"):], end='')
    #print(l, end='')


threading.Thread(target=iframe_thread, daemon=True, args=(8188,)).start()

!python main.py --dont-print-server

Load流程图

flux1-dev流程图:

https://modelscope.oss-cn-beijing.aliyuncs.com/resource/flux1-dev-test.json

flux1-schnell流程图:

https://modelscope.oss-cn-beijing.aliyuncs.com/resource/flux1-schnell-test.json