So führen Sie das FLUX AI-Modell kostenlos aus (NSFW)

Im August 2024 kündigte ein Team von ehemaligen Entwicklern von Stability AI die Gründung von Black Forest Labs und die Veröffentlichung ihres ersten KI-Modells, FLUX.1, an, das auf 12 Milliarden Parametern trainiert wurde und auf einer neuartigen Transformer-Architektur basiert.

**Prompt:** Erstelle ein Bild, in dem der Betrachter in ein menschliches Auge schaut. (Mann) Im Spiegelbild des Auges soll eine futuristische und kriegsgeplagte Welt dargestellt werden. Die Landschaft sollte von fortschrittlicher KI-Technologie überrannt sein, wie riesigen Robotern, autonomen Drohnen und heruntergekommenen Gebäuden, die mit digitalen Anzeigen und Hologrammen bedeckt sind. Die allgemeine Stimmung sollte dunkel und dystopisch sein, mit einer kalten, metallischen Farbpalette und Anzeichen von Zerstörung. Das Auge selbst sollte wie eine nukleare Explosion erscheinen, jedoch mit einem Hauch von künstlicher Verbesserung, wie einer leuchtenden kybernetischen Iris.

Die Rezeption des Modells war überwältigend positiv. Die Benutzer waren schockiert über die hohe Bildqualität und die Erkennung der Prompts.

Was das Flux.1-Modell noch spezieller macht, ist, dass es ein Open-Source-Modell ist, sodass die Community darauf aufbauen kann, indem sie benutzerdefinierte Modelle und LORAs mit unterschiedlichen Fähigkeiten trainiert.

Flux.1 besteht aus drei Modellvariationen;

Flux.1 [Pro] – Pro ist nur über API verfügbar. Sie können die API von Black Forest Labs oder eine Reihe ihrer kommerziellen Partner nutzen, um Bilder mit Flux.1 Pro zu generieren. Die Gewichte (Modell-Datei) können nicht heruntergeladen werden, und selbst wenn sie es könnten, wären die Systemanforderungen zu hoch für die Verwendung mit Verbraucherhardware.

Flux.1 [Dev] – Dev ist ein Open-Source-Modell für nicht-kommerzielle Anwendungen. Aus Flux.1 [Pro] destilliert, bietet es ähnliche Bildqualität und Prompt-Erkennungsfähigkeiten und ist dabei effizienter; wir können es lokal auf Verbraucherhardware ausführen. Flux.1 [Dev] wird unter einer Nicht-Kommerzielle Lizenz veröffentlicht. Herunterladen von Hugging Face hier.

Flux.1 [Schnell] – Schnell ist das super schnelle Modell. Es ermöglicht schnelle Generierungen mit niedriger Schrittzahl auf Kosten einiger Bildqualität. Flux.1 [Schnell] wird unter der Apache-2.0 Lizenz veröffentlicht. Herunterladen von Hugging Face hier.

Wie gut ist FLUX.1? Welche Qualität kann ich erwarten?

Von vielen KI-Enthusiasten als "das Modell, auf das wir gewartet haben" beschrieben (insbesondere nach der Enttäuschung mit SD3), wurde Flux mit offenen Armen empfangen und angenommen. Die Bildtreue, die Einhaltung der Prompts und die allgemeine Bildqualität sind außergewöhnlich und setzen einen neuen Standard im Text2Img-Bereich.

Schauen Sie sich einfach diese Beispiele an:

Und vergessen wir nicht die NSFW-Fähigkeiten (mehr NSFW-Prompts hier):

Wie kann ich Flux online ausprobieren?

Sie können FLUX.1 kostenlos (mit eingeschränkter Nutzung) auf Hugging Face verwenden. Hier sind die Generatoren für die Dev und die Schnell Modelle.

Sie können FLUX.1 auch auf Replicate.com ausführen: Dev und Schnell (auch mit eingeschränkter kostenloser Nutzung).

Wie benutze ich Flux lokal?

Derzeit gibt es einige Optionen für die lokale Generierung, abhängig von Ihrer Hardware!

Zum Zeitpunkt des Schreibens gibt es keinen Automatic1111-Support.

Schauen wir uns unsere Optionen an:

SwarmUI (meine persönliche Empfehlung)
Forge
ComfyUI

Verwendung von SwarmUI

Hier ist der Download-Link:

https://github.com/mcmonkeyprojects/SwarmUI

Folgen Sie den Anweisungen, die hier wiederholt werden:

Hinweis: Wenn Sie Windows 10 verwenden, müssen Sie möglicherweise zuerst git und DotNET 8 manuell installieren. (Bei Windows 11 geschieht dies automatisch).

Laden Sie die Install-Windows.bat-Datei herunter, speichern Sie sie an einem Ort, an dem Sie installieren möchten (nicht im Program Files), und führen Sie sie aus. Für mich ist das auf meinem D: Laufwerk, aber das liegt bei Ihnen.
- Es sollte ein Eingabeaufforderungsfenster öffnen und sich selbst installieren.
- Wenn es sich schließt, ohne weiterzugehen, versuchen Sie es erneut, manchmal muss es zweimal ausgeführt werden.
- Es wird ein Symbol auf Ihrem Desktop platzieren, das Sie jederzeit verwenden können, um den Server erneut zu starten.
- Wenn der Installer abgeschlossen ist, wird automatisch der ~~Stable~~SwarmUI-Server gestartet und ein Browserfenster zur Installationsseite geöffnet.
- Befolgen Sie die Installationsanweisungen auf der Seite.
- Nachdem Sie gesendet haben, haben Sie Geduld, einige der Installationsprozesse dauern einige Minuten (Modelle herunterladen usw.).

Das sollte die Installation abschließen und das SD XL Basis-Modell anbieten.

Um es zu starten, doppelklicken Sie auf die "Launch-Windows.bat"-Datei. Es wird auch eine Verknüpfung auf Ihrem Desktop erstellt, es sei denn, Sie haben gesagt, dass es dies nicht tun soll.

Versuchen Sie, ein Bild mit dem XL-Modell zu erstellen. Wenn das funktioniert, großartig!

Laden Sie das Flux-Modell von hier herunter:

Das Dev-Modell, wenn Sie 12GB+ VRAM haben:
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

Das Schnell-Modell, wenn Sie weniger haben:
https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

Laden Sie auch die entsprechende "ae.safetensors"-Datei für das Modell herunter, das Sie wählen.

Legt die gewählte FLUX-Datei in Ihren unet-Ordner:

SwarmUI\Models\unet

Dann legen Sie die "ae.safetensors"-Datei in Ihren VAE-Ordner:

SwarmUI\Models\VAE

Schließen Sie die App, sowohl den Browser als auch die Konsole.

Starten Sie Swarm mit der Windows-launch.bat-Datei neu.

Sie sollten in der Lage sein, Flux als Modell auszuwählen, versuchen Sie, ein Bild zu erstellen.

Es wird Ihnen sagen, dass es in der Warteschlange ist.

Sie müssen warten, da Swarm große Dateien herunterlädt. Sie können den Fortschritt in der Konsole überprüfen.

Wenn der Download abgeschlossen ist, sollte Ihr erstes Bild erscheinen!

ComfyUI

Flux.1 wurde mit Tag-1 Co m fyUI Unterstützung gestartet, was es zu einem der schnellsten und einfachsten Wege macht, mit den ursprünglichen Black Forest Labs-Modellen zu generieren. Um mit Flux und ComfyUI zu beginnen, benötigen Sie die folgenden Komponenten:

Flux.1 Modelle	HF Link	Civitai Link
ae.safetensors (vae, erforderlich)	Black Forest Labs HF Repository
flux1-dev.safetensors	Black Forest Labs HF Repository	Civitai Download Link
flux1-schnell.safetensors	Black Forest Labs HF Repository	Civitai Download Link
Clip_l.safetensors	Comfyanonymous HF Repository
t5xxl_fp16.safetensors	Comfyanonymous HF Repository
t5xxl_fp8_e4m3fn.safetensors	Comfyanonymous HF Repository

Bitte beachten Sie, dass die Flux-dev und -schnell .safetensors Modelle in den ComfyUI\models\unet Ordner gelegt werden müssen.

Clip-Modelle müssen in den ComfyUI\models\clip Ordner gelegt werden. Möglicherweise haben Sie bereits die erforderlichen Clip-Modelle, wenn Sie zuvor SD3 verwendet haben.

Einige Überlegungen zu den Systemanforderungen;
- flux1-dev benötigt mehr als 12GB VRAM
- flux1-schnell kann mit 12GB VRAM betrieben werden
- Wenn Sie weniger als 32GB System-RAM haben, verwenden Sie den t5xxl_fp8_e4m3fn Text-Encoder anstelle der t5xxl_fp16 Version.

⚠️ Wenn Sie die 'full fat' offiziellen Modelle nicht ausführen können, hat der Ersteller Kijai komprimierte fp8-Versionen sowohl von flux1-dev als auch von flux1-schnell veröffentlicht. Obwohl es möglicherweise eine gewisse Reduzierung der Bildqualität gibt, ermöglichen diese Versionen Benutzern mit weniger verfügbarem VRAM die Generierung mit Flux.

Flux.1 Modelle	HF Link
flux1-dev-fp8.safetensors	Kijai HF Repository
flux1-schnell-fp8.safetensors	Kijai HF Repository

Sie benötigen auch einen grundlegenden Text-zu-Bild-Workflow, um zu beginnen. Der Download-Link unten bietet eine unkomplizierte Einrichtung mit einigen soliden Voreinstellungen. Darüber hinaus haben wir einen LoRA Loader (standardmäßig umgangen) hinzugefügt, da wir bereits die ersten Flux LoRAs auf Civitai sehen!

civitai_flux_t2i_workflow Herunterladen

Forge

Eines von unseren Lieblingsschnittstellen, Forge, hat Flux-Unterstützung in einem überraschenden großen Update erhalten! Wenn Sie mit der Schnittstelle von Automatic1111 vertraut sind, werden Sie sich mit Forge sofort wohlfühlen; die Gradio-Frontends sind praktisch identisch.

Forge kann die ursprünglichen Flux-Modelle und Text-Encoder unterstützen, wie oben für Comfy aufgeführt.

Um die vollständigen Modelle und Text-Encoder zu verwenden, gibt es neue Felder, in denen die Modelle und Encoder geladen werden können;

Der Forge-Ersteller, Illyasviel, hat ein "komprimiertes" NF4-Modell veröffentlicht, das derzeit die empfohlene Methode ist, um Flux mit Forge zu verwenden; "NF4 ist erheblich schneller als FP8 auf 6GB/8GB/12GB Geräten und etwas schneller für >16GB VRAM Geräte. Für GPUs mit 6GB/8GB VRAM beträgt die Geschwindigkeitssteigerung etwa 1,3x bis 2,5x (pytorch 2.4, cuda 12.4) oder etwa 1,3x bis 4x (pytorch 2.1, cuda 12.1)".

Modell	HF Link
flux1-dev-bnb-nf4-v2.safetensors	Illyasviel HF Repository
flux1-dev-fp8.safetensors	Illyasviel HF Repository

Hinweis! Wenn Ihre GPU CUDA-Versionen unterstützt, die neuer als 11.7 sind, können Sie das NF4-Modell verwenden. Die meisten RTX3XXX und 4XXX GPUs unterstützen NF4).

Wenn Ihre GPU eine GTX10XX/20XX ist, unterstützt sie möglicherweise kein NF4. In diesem Fall verwenden Sie das fp8-Modell.