Comment exécuter le modèle FLUX AI gratuitement (NSFW)

En août 2024, une équipe d'anciens développeurs de Stability AI a annoncé la formation de Black Forest Labs et la sortie de leur premier modèle d'IA, FLUX.1, entraîné sur 12 milliards de paramètres et basé sur une nouvelle architecture de transformateur.

La réception du modèle a été extrêmement positive. Les utilisateurs ont été choqués par la qualité des images et la reconnaissance des prompts.

Ce qui rend le modèle Flux.1 encore plus spécial, c'est qu'il s'agit d'un modèle open source, permettant à la communauté de construire dessus en entraînant des modèles personnalisés et des LORAs avec différentes capacités.

Flux.1 se compose de trois variations de modèle :

• Flux.1 [Pro] – Pro est uniquement disponible via API. Vous pouvez utiliser l'API de Black Forest Labs, ou un certain nombre de leurs partenaires commerciaux, pour générer des images avec Flux.1 Pro. Les poids (fichier modèle) ne peuvent pas être téléchargés, et même s'ils pouvaient, les exigences système seraient trop élevées pour une utilisation avec du matériel grand public.

• Flux.1 [Dev] – Dev est un modèle open-source pour des applications non commerciales. Distillé de Flux.1 [Pro], il offre une qualité d'image et des capacités de reconnaissance de prompt similaires tout en étant plus efficace ; nous pouvons l'exécuter localement sur du matériel grand public. Flux.1 [Dev] est publié sous une licence non commerciale. Téléchargez depuis Hugging Face ici.

• Flux.1 [Schnell] – Schnell est le modèle super rapide. Il vous permet de faire des générations rapides avec un faible nombre d'étapes au détriment de la qualité de l'image. Flux.1 [Schnell] est publié sous la licence Apache-2.0. Téléchargez depuis Hugging Face ici.

Quelle est la qualité de FLUX.1 ? Quelle qualité puis-je attendre ?

Décrit par de nombreux passionnés d'IA comme "le modèle que nous attendions" (surtout après la déception de SD3), Flux a été reçu et accueilli à bras ouverts. La fidélité de l'image, l'adhérence au prompt et la qualité globale de l'image sont exceptionnelles, établissant une nouvelle norme dans le paysage text2img.

Regardez simplement ces exemples :

Et n'oublions pas les capacités NSFW (plus de prompts NSFW ici) :

Comment essayer Flux en ligne ?

Vous pouvez utiliser FLUX.1 gratuitement (utilisation limitée) sur Hugging Face. Voici les générateurs pour les modèles Dev et Schnell.

Vous pouvez également exécuter FLUX.1 sur Replicate.com : Dev et Schnell (également utilisation gratuite limitée).

Comment utiliser Flux localement ?

Actuellement, il existe quelques options pour la génération locale, selon votre matériel !

Au moment de la rédaction, il n'y a pas de support pour Automatic1111.

Jetons un œil à nos options :

• SwarmUI (ma recommandation personnelle)
• Forge
• ComfyUI

Utilisation de SwarmUI

Voici le lien de téléchargement :

https://github.com/mcmonkeyprojects/SwarmUI

Suivez les instructions, qui sont répétées ici :

Remarque : si vous êtes sous Windows 10, vous devrez peut-être installer manuellement git et DotNET 8 d'abord. (Sous Windows 11, cela est automatisé).

• Téléchargez le fichier Install-Windows.bat, stockez-le à l'endroit où vous souhaitez l'installer (pas dans Program Files), et exécutez-le. Pour moi, c'est sur mon disque D:, mais c'est à vous de décider.
  • Il devrait ouvrir une invite de commande et s'installer.
  • Si cela se ferme sans aller plus loin, essayez de l'exécuter à nouveau, il a parfois besoin de s'exécuter deux fois.
  • Il placera une icône sur votre bureau que vous pourrez utiliser pour relancer le serveur à tout moment.
  • Lorsque l'installateur est terminé, il lancera automatiquement le serveur StableSwarmUI et ouvrira une fenêtre de navigateur vers la page d'installation.
  • Suivez les instructions d'installation sur la page.
  • Après avoir soumis, soyez patient, certains des traitements d'installation prennent quelques minutes (téléchargement de modèles, etc.).

Cela devrait terminer l'installation, offrant le modèle SD XL de base.

Pour le démarrer, double-cliquez sur le fichier “Launch-Windows.bat”. Il aura également placé un raccourci sur votre bureau, à moins que vous ne lui ayez dit de ne pas le faire.

Essayez de créer une image avec le modèle XL. Si cela fonctionne, super !

Téléchargez le modèle Flux depuis ici :

• Le modèle Dev, si vous avez 12 Go ou plus de VRAM :
  https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

• Le modèle Schnell, si vous en avez moins :
  https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

Téléchargez également le fichier “ae.safetensors” correspondant au modèle que vous choisissez.

Mettez votre fichier FLUX choisi dans votre dossier unet :

SwarmUI\Models\unet

Ensuite, mettez le fichier “ae.safetensors” dans votre dossier VAE :

SwarmUI\Models\VAE

Fermez l'application, à la fois le navigateur et la console.

Redémarrez Swarm avec le fichier Windows-launch.bat.

Vous devriez pouvoir sélectionner Flux comme modèle, essayez de créer une image.

Il vous dira qu'il est dans la file d'attente.

Vous devrez attendre, car Swarm télécharge de gros fichiers. Vous pouvez vérifier la progression dans la console.

Lorsque le téléchargement est terminé, votre première image devrait commencer à apparaître !

ComfyUI

Flux.1 a été lancé avec le support de ComfyUI dès le premier jour, ce qui en fait l'un des moyens les plus rapides et les plus faciles de plonger dans la génération avec les modèles originaux de Black Forest Labs. Pour commencer à utiliser Flux avec ComfyUI, vous aurez besoin des composants suivants :

Modèles Flux.1	Lien HF	Lien Civitai
ae.safetensors (vae, requis)	Dépôt HF de Black Forest Labs
flux1-dev.safetensors	Dépôt HF de Black Forest Labs	Lien de téléchargement Civitai
flux1-schnell.safetensors	Black Forest Labs Dépôt HF	Lien de téléchargement Civitai
Clip_l.safetensors	Dépôt HF de Comfyanonymous
t5xxl_fp16.safetensors	Dépôt HF de Comfyanonymous
t5xxl_fp8_e4m3fn.safetensors	Dépôt HF de Comfyanonymous

• Notez que les modèles Flux-dev et -schnell .safetensors doivent être placés dans le dossier ComfyUI\models\unet.

• Les modèles Clip doivent être placés dans le dossier ComfyUI\models\clip. Vous avez peut-être déjà les modèles Clip requis si vous avez déjà utilisé SD3.

• Quelques considérations sur les exigences système :
  • flux1-dev nécessite plus de 12 Go de VRAM
  • flux1-schnell peut fonctionner avec 12 Go de VRAM
  • Si vous avez moins de 32 Go de RAM système, utilisez l'encodeur de texte t5xxl_fp8_e4m3fn au lieu de la version t5xxl_fp16.

⚠️ Si vous ne pouvez pas exécuter les modèles officiels "full fat", le créateur Kijai a publié des versions compressées fp8 de flux1-dev et flux1-schnell. Bien qu'il puisse y avoir une certaine réduction de la qualité de l'image, ces versions permettent aux utilisateurs avec moins de VRAM disponible de générer avec Flux.

Modèles Flux.1	Lien HF
flux1-dev-fp8.safetensors	Dépôt HF de Kijai
flux1-schnell-fp8.safetensors	Dépôt HF de Kijai

Vous aurez également besoin d'un flux de travail de base de texte à image pour commencer. Le lien de téléchargement ci-dessous fournit une configuration simple avec quelques options préétablies solides. De plus, nous avons inclus un chargeur LoRA (bypassed par défaut), car nous voyons déjà les premiers LoRAs de Flux apparaître sur Civitai !

civitai_flux_t2i_workflowTélécharger

Forge

Une de nos interfaces préférées, Forge, a reçu le support de Flux dans une mise à jour majeure surprise ! Si vous êtes familier avec l'interface d'Automatic1111, vous vous sentirez chez vous avec Forge ; les interfaces Gradio sont pratiquement identiques.

Forge peut prendre en charge les modèles Flux originaux et les encodeurs de texte, comme listé ci-dessus pour Comfy.

Pour utiliser les modèles complets et les encodeurs de texte, il y a de nouveaux champs dans lesquels les modèles et les encodeurs peuvent être chargés ;

Le créateur de Forge, Illyasviel, a publié un modèle NF4 "compressé" qui est actuellement la méthode recommandée pour utiliser Flux avec Forge ; "NF4 est significativement plus rapide que FP8 sur des appareils de 6 Go/8 Go/12 Go et légèrement plus rapide pour les appareils de >16 Go de VRAM. Pour les GPU avec 6 Go/8 Go de VRAM, l'accélération est d'environ 1,3x à 2,5x (pytorch 2.4, cuda 12.4) ou d'environ 1,3x à 4x (pytorch 2.1, cuda 12.1)".

Modèle	Lien HF
flux1-dev-bnb-nf4-v2.safetensors	Dépôt HF d'Illyasviel
flux1-dev-fp8.safetensors	Dépôt HF d'Illyasviel

Remarque ! Si votre GPU prend en charge CUDA plus récent que 11.7, vous pouvez utiliser le modèle NF4. La plupart des GPU RTX3XXX et 4XXX prennent en charge NF4).

Si votre GPU est un GTX10XX/20XX, il se peut qu'il ne prenne pas en charge NF4. Dans ce cas, utilisez le modèle fp8.