Como executar o modelo FLUX AI gratuitamente (NSFW)

Em agosto de 2024, uma equipe de ex-desenvolvedores da Stability AI anunciou a formação da Black Forest Labs, e o lançamento de seu primeiro modelo de IA, FLUX.1, treinado em 12 bilhões de parâmetros e baseado em uma nova arquitetura de transformer.

A recepção ao modelo foi extremamente positiva. Os usuários ficaram surpresos com a qualidade das imagens e o reconhecimento de prompts.

O que torna o modelo Flux.1 ainda mais especial é que ele é um modelo de código aberto, então a comunidade poderá construir em cima dele, treinando modelos personalizados e LORAs com diferentes capacidades.

Flux.1 consiste em três variações de modelo;

• Flux.1 [Pro] – Pro está disponível apenas para uso via API. Você pode usar a API da Black Forest Labs, ou um número de seus parceiros comerciais, para gerar imagens com o Flux.1 Pro. Os pesos (arquivo do modelo) não podem ser baixados, e mesmo que pudessem, os requisitos do sistema seriam muito altos para uso com hardware de consumidor.

• Flux.1 [Dev] – Dev é um modelo de código aberto para aplicações não comerciais. Destilado do Flux.1 [Pro], ele fornece qualidade de imagem e capacidades de reconhecimento de prompt semelhantes, enquanto é mais eficiente; podemos executá-lo localmente em hardware de consumidor. O Flux.1 [Dev] é lançado sob uma Licença Não Comercial. Baixe de Hugging Face aqui.

• Flux.1 [Schnell] – Schnell é o modelo super rápido. Ele permite gerações rápidas com baixo número de passos à custa de alguma qualidade de imagem. O Flux.1 [Schnell] é lançado sob a Licença Apache-2.0. Baixe de Hugging Face aqui.

Quão bom é o FLUX.1? Que qualidade posso esperar?

Descrito por muitos entusiastas de IA como “o modelo que estávamos esperando” (especialmente após a decepção com o SD3), o Flux foi recebido e acolhido de braços abertos. A fidelidade da imagem, a adesão ao prompt e a qualidade geral da imagem são excepcionais, estabelecendo um novo padrão no cenário de text2img.

Veja apenas estes exemplos:

E não vamos esquecer as capacidades NSFW (mais prompts NSFW aqui):

Como posso experimentar o Flux online?

Você pode usar o FLUX.1 gratuitamente (uso limitado) no Hugging Face. Aqui estão os geradores para os modelos Dev e Schnell.

Você também pode executar o FLUX.1 no Replicate.com: Dev e Schnell (também uso gratuito limitado).

Como usar o Flux localmente?

Atualmente, existem algumas opções para geração local, dependendo do seu hardware!

No momento da escrita, não há suporte para Automatic1111.

Vamos dar uma olhada nas nossas opções:

• SwarmUI (minha recomendação pessoal)
• Forge
• ComfyUI

Usando SwarmUI

Aqui está o link para download:

https://github.com/mcmonkeyprojects/SwarmUI

Siga as instruções, que estão repetidas aqui:

Nota: se você estiver no Windows 10, pode ser necessário instalar manualmente git e DotNET 8 primeiro. (No Windows 11, isso é automatizado).

• Baixe o arquivo Install-Windows.bat, armazene-o em algum lugar onde você deseja instalar (não em Program Files), e execute-o. Para mim, isso está no meu drive D:, mas fica a seu critério.
  • Ele deve abrir um prompt de comando e se instalar.
  • Se ele fechar sem prosseguir, tente executá-lo novamente, às vezes precisa ser executado duas vezes.
  • Ele colocará um ícone na sua área de trabalho que você pode usar para relançar o servidor a qualquer momento.
  • Quando a instalação for concluída, ela lançará automaticamente o servidor StableSwarmUI e abrirá uma janela do navegador na página de instalação.
  • Siga as instruções de instalação na página.
  • Depois de enviar, seja paciente, alguns dos processos de instalação levam alguns minutos (baixando modelos etc).

Isso deve finalizar a instalação, oferecendo o modelo SD XL Base.

Para iniciá-lo, clique duas vezes no arquivo “Launch-Windows.bat”. Ele também terá colocado um atalho na sua área de trabalho, a menos que você tenha dito para não fazê-lo.

Tente criar uma imagem com o modelo XL. Se isso funcionar, ótimo!

Baixe o modelo Flux daqui:

• O modelo Dev, se você tiver 12GB+ de VRAM:
  https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

• O modelo Schnell, se você tiver menos:
  https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

Baixe também o arquivo correspondente “ae.safetensors” para qual modelo você escolher.

Coloque seu arquivo FLUX escolhido na sua pasta unet:

SwarmUI\Models\unet

Depois, coloque o arquivo “ae.safetensors” na sua pasta VAE:

SwarmUI\Models\VAE

Feche o aplicativo, tanto o navegador quanto o console.

Reinicie o Swarm com o arquivo Windows-launch.bat.

Você deve conseguir selecionar o Flux como o modelo, tente criar uma imagem.

Ele dirá que está na fila.

Você terá que esperar, porque o Swarm está baixando arquivos grandes. Você pode verificar o progresso no console.

Quando o download estiver completo, sua primeira imagem deve começar a aparecer!

ComfyUI

O Flux.1 foi lançado com suporte ao ComfyUI desde o primeiro dia, tornando-se uma das maneiras mais rápidas e fáceis de começar a gerar com os modelos originais da Black Forest Labs. Para começar a usar o Flux com o ComfyUI, você precisará dos seguintes componentes:

Modelos Flux.1	Link HF	Link Civitai
ae.safetensors (vae, necessário)	Repositório HF da Black Forest Labs
flux1-dev.safetensors	Repositório HF da Black Forest Labs	Link de Download Civitai
flux1-schnell.safetensors	Black Forest Labs Repositório HF	Link de Download Civitai
Clip_l.safetensors	Repositório HF Comfyanonymous
t5xxl_fp16.safetensors	Repositório HF Comfyanonymous
t5xxl_fp8_e4m3fn.safetensors	Repositório HF Comfyanonymous

• Observe que os modelos Flux-dev e -schnell .safetensors devem ser colocados na pasta ComfyUI\models\unet.

• Os Modelos Clip devem ser colocados na pasta ComfyUI\models\clip. Você pode já ter os modelos Clip necessários se já usou o SD3 anteriormente.

• Algumas considerações sobre requisitos do sistema;
  • flux1-dev requer mais de 12GB de VRAM
  • flux1-schnell pode rodar com 12GB de VRAM
  • Se você tiver menos de 32GB de RAM do sistema, use o codificador de texto t5xxl_fp8_e4m3fn em vez da versão t5xxl_fp16.

⚠️ Se você não conseguir executar os modelos oficiais ‘completos’, o criador Kijai lançou versões compactadas fp8 de ambos flux1-dev e flux1-schnell. Embora possa haver alguma redução na qualidade da imagem, essas versões possibilitam que usuários com menos VRAM disponível gerem com o Flux.

Modelos Flux.1	Link HF
flux1-dev-fp8.safetensors	Repositório HF Kijai
flux1-schnell-fp8.safetensors	Repositório HF Kijai

Você também precisará de um fluxo de trabalho básico de texto para imagem para começar. O link de download abaixo fornece uma configuração simples com algumas boas opções predefinidas. Além disso, incluímos um LoRA Loader (bypassed por padrão), pois já estamos vendo os primeiros LoRAs do Flux aparecendo no Civitai!

civitai_flux_t2i_workflowDownload

Forge

Uma de nossas interfaces favoritas, Forge, recebeu suporte ao Flux em uma atualização importante surpresa! Se você está familiarizado com a interface do Automatic1111, você se sentirá em casa com o Forge; as interfaces Gradio são praticamente idênticas.

O Forge pode suportar os modelos originais do Flux e codificadores de texto, conforme listado acima para o Comfy.

Para usar os modelos completos e codificadores de texto, há novos campos nos quais os modelos e codificadores podem ser carregados;

O criador do Forge, Illyasviel, lançou um modelo NF4 “compactado” que atualmente é a maneira recomendada de usar o Flux com o Forge; “NF4 é significativamente mais rápido que FP8 em dispositivos de 6GB/8GB/12GB e um pouco mais rápido para dispositivos com >16GB de VRAM. Para GPUs com 6GB/8GB de VRAM, o aumento de velocidade é de cerca de 1.3x a 2.5x (pytorch 2.4, cuda 12.4) ou cerca de 1.3x a 4x (pytorch 2.1, cuda 12.1)“

Modelo	Link HF
flux1-dev-bnb-nf4-v2.safetensors	Repositório HF Illyasviel
flux1-dev-fp8.safetensors	Repositório HF Illyasviel

Nota! Se sua GPU suporta CUDA mais recente que 11.7, você pode usar o modelo NF4. A maioria das GPUs RTX3XXX e 4XXX suporta NF4).

Se sua GPU for uma GTX10XX/20XX, pode não suportar NF4. Nesse caso, use o modelo fp8.