FLUX AI 모델을 무료로 실행하는 방법 (NSFW)

2024년 8월, 전 Stability AI 개발자들로 구성된 팀이 Black Forest Labs의 설립과 120억 개의 파라미터로 훈련된 첫 번째 AI 모델인 FLUX.1의 출시를 발표했습니다. 이 모델은 새로운 트랜스포머 아키텍처를 기반으로 하고 있습니다.

**프롬프트:** 관람자가 인간의 눈을 바라보는 이미지를 생성하세요. (남자) 눈의 반사에 미래적이고 전쟁으로 황폐해진 세상을 묘사하세요. 풍경은 거대한 로봇, 자율 드론, 디지털 광고와 홀로그램으로 덮인 낡은 건물 등 고급 AI 기술로 가득 차 있어야 합니다. 전체적인 분위기는 어둡고 디스토피아적이며, 차가운 금속 색조와 파괴의 흔적이 있어야 합니다. 눈 자체는 핵폭발처럼 보이지만, 빛나는 사이버네틱 홍채와 같은 인공적인 향상이 있어야 합니다.

모델에 대한 반응은 압도적으로 긍정적이었습니다. 사용자들은 이미지 품질과 프롬프트 인식이 얼마나 뛰어난지에 놀랐습니다.

Flux.1 모델을 더욱 특별하게 만드는 것은 오픈 소스 모델이라는 점입니다. 따라서 커뮤니티는 다양한 기능을 가진 맞춤형 모델과 LORA를 훈련하여 이를 기반으로 발전시킬 수 있습니다.

Flux.1은 세 가지 모델 변형으로 구성되어 있습니다;

Flux.1 [Pro] – Pro는 API를 통해서만 사용 가능합니다. Black Forest Labs의 API 또는 여러 상업적 파트너를 통해 Flux.1 Pro로 이미지를 생성할 수 있습니다. 가중치(모델 파일)는 다운로드할 수 없으며, 다운로드할 수 있다고 하더라도 시스템 요구 사항이 소비자 하드웨어로 사용하기에는 너무 높습니다.

Flux.1 [Dev] – Dev는 비상업적 애플리케이션을 위한 오픈 소스 모델입니다. Flux.1 [Pro]에서 증류되어 유사한 이미지 품질과 프롬프트 인식 기능을 제공하며, 더 효율적입니다. 소비자 하드웨어에서 로컬로 실행할 수 있습니다. Flux.1 [Dev]는 비상업적 라이선스 하에 출시되었습니다. Hugging Face에서 다운로드하세요.

Flux.1 [Schnell] – Schnell은 초고속 모델입니다. 이미지 품질을 일부 희생하면서 빠른 저단계 생성이 가능합니다. Flux.1 [Schnell]은 Apache-2.0 라이선스 하에 출시되었습니다. Hugging Face에서 다운로드하세요.

FLUX.1은 얼마나 좋은가요? 어떤 품질을 기대할 수 있나요?

많은 AI 애호가들이 “우리가 기다려온 모델”이라고 설명한 Flux는 (특히 SD3의 실망 이후) 열린 마음으로 받아들여졌습니다. 이미지 충실도, 프롬프트 준수 및 전반적인 이미지 품질은 뛰어나며, text2img 분야에서 새로운 기준을 설정하고 있습니다.

이 예시들을 한번 보세요:

그리고 NSFW 기능도 잊지 말아야 합니다 (여기에서 더 많은 NSFW 프롬프트):

Flux를 온라인에서 어떻게 시도하나요?

Hugging Face에서 FLUX.1을 무료로 (제한된 사용) 사용할 수 있습니다. Dev 및 Schnell 모델의 생성기를 확인하세요.

또한 Replicate.com에서 FLUX.1을 실행할 수 있습니다: Dev 및 Schnell (제한된 무료 사용 가능).

Flux를 로컬에서 어떻게 사용하나요?

현재 하드웨어에 따라 로컬 생성 옵션이 몇 가지 있습니다!

작성 시점에서 Automatic1111 지원이 없습니다.

우리의 옵션을 살펴보겠습니다:

SwarmUI (개인 추천)
Forge
ComfyUI

SwarmUI 사용하기

다운로드 링크는 다음과 같습니다:

https://github.com/mcmonkeyprojects/SwarmUI

여기에서 반복되는 지침을 따르세요:

참고: Windows 10을 사용하는 경우, 먼저 git 및 DotNET 8를 수동으로 설치해야 할 수 있습니다. (Windows 11에서는 자동화됩니다).

Install-Windows.bat 파일을 다운로드하여 설치할 위치(Program Files가 아님)에 저장하고 실행하세요. 제 경우에는 D: 드라이브에 저장했지만, 여러분의 선택입니다.
- 명령 프롬프트가 열리고 자동으로 설치됩니다.
- 진행되지 않고 닫히면 다시 실행해 보세요. 가끔 두 번 실행해야 할 필요가 있습니다.
- 언제든지 서버를 다시 시작할 수 있는 아이콘이 바탕 화면에 생성됩니다.
- 설치가 완료되면 자동으로 ~~Stable~~SwarmUI 서버가 시작되고 설치 페이지로 브라우저 창이 열립니다.
- 페이지의 설치 지침을 따르세요.
- 제출 후 인내심을 가지세요. 일부 설치 과정은 몇 분이 걸릴 수 있습니다 (모델 다운로드 등).

설치가 완료되면 SD XL Base 모델을 제공할 것입니다.

시작하려면 “Launch-Windows.bat” 파일을 두 번 클릭하세요. 바탕 화면에 바로 가기가 생성되었을 것입니다, 만약 생성하지 않도록 설정하지 않았다면요.

XL 모델로 이미지를 생성해 보세요. 잘 작동하면 좋습니다!

여기에서 Flux 모델을 다운로드하세요:

12GB 이상의 VRAM이 있는 경우 Dev 모델:
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

더 적은 경우 Schnell 모델:
https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

선택한 모델에 대해 해당하는 “ae.safetensors” 파일도 다운로드하세요.

선택한 FLUX 파일을 unet 폴더에 넣으세요:

SwarmUI\Models\unet

그런 다음 “ae.safetensors” 파일을 VAE 폴더에 넣으세요:

SwarmUI\Models\VAE

앱을 닫고, 브라우저와 콘솔 모두 종료하세요.

Windows-launch.bat 파일로 Swarm을 다시 시작하세요.

Flux를 모델로 선택할 수 있어야 하며, 이미지를 생성해 보세요.

대기열에 있다고 알려줄 것입니다.

대기해야 합니다. Swarm이 대용량 파일을 다운로드하고 있기 때문입니다. 콘솔에서 진행 상황을 확인할 수 있습니다.

다운로드가 완료되면 첫 번째 이미지가 나타나기 시작할 것입니다!

ComfyUI

Flux.1은 첫날부터 ComfyUI 지원과 함께 출시되어, 원래 Black Forest Labs 모델로 생성하는 가장 빠르고 쉬운 방법 중 하나가 되었습니다. ComfyUI와 함께 Flux를 사용하려면 다음 구성 요소가 필요합니다:

Flux.1 모델	HF 링크	Civitai 링크
ae.safetensors (vae, 필수)	Black Forest Labs HF 저장소
flux1-dev.safetensors	Black Forest Labs HF 저장소	Civitai 다운로드 링크
flux1-schnell.safetensors	Black Forest Labs HF 저장소	Civitai 다운로드 링크
Clip_l.safetensors	Comfyanonymous HF 저장소
t5xxl_fp16.safetensors	Comfyanonymous HF 저장소
t5xxl_fp8_e4m3fn.safetensors	Comfyanonymous HF 저장소

모델과 인코더는 ComfyUI\models\unet 폴더에 배치해야 합니다.

Clip 모델은 ComfyUI\models\clip 폴더에 배치해야 합니다. 이전에 SD3를 사용한 경우 필요한 Clip 모델이 이미 있을 수 있습니다.

시스템 요구 사항 고려 사항;
- flux1-dev는 12GB 이상의 VRAM이 필요합니다.
- flux1-schnell은 12GB VRAM에서 실행할 수 있습니다.
- 시스템 RAM이 32GB 미만인 경우, t5xxl_fp8_e4m3fn 텍스트 인코더를 t5xxl_fp16 버전 대신 사용하세요.

⚠️ ‘풀 패트’ 공식 모델을 실행할 수 없는 경우, 제작자 Kijai가 flux1-dev와 flux1-schnell의 압축된 fp8 버전을 출시했습니다. 이미지 품질이 일부 저하될 수 있지만, 이러한 버전은 VRAM이 적은 사용자도 Flux로 생성할 수 있게 해줍니다.

Flux.1 모델	HF 링크
flux1-dev-fp8.safetensors	Kijai HF 저장소
flux1-schnell-fp8.safetensors	Kijai HF 저장소

시작하려면 기본 텍스트-이미지 워크플로우도 필요합니다. 아래 다운로드 링크는 몇 가지 좋은 사전 설정 옵션으로 간단한 설정을 제공합니다. 또한, 우리는 LoRA 로더(기본적으로 우회됨)를 포함했습니다. Civitai에서 첫 번째 Flux LoRA가 이미 나타나고 있습니다!

civitai_flux_t2i_workflow 다운로드

Forge

우리의 가장 좋아하는 인터페이스 중 하나인 Forge가 놀라운 주요 업데이트로 Flux 지원을 받았습니다! Automatic1111의 인터페이스에 익숙하다면 Forge에서 편안하게 사용할 수 있습니다. Gradio 프론트엔드는 거의 동일합니다.

Forge는 위에서 Comfy에 대해 나열된 원래 Flux 모델과 텍스트 인코더를 지원할 수 있습니다.

전체 모델과 텍스트 인코더를 사용하려면 모델과 인코더를 로드할 수 있는 새로운 필드가 있습니다;

Forge 제작자 Illyasviel는 현재 Flux를 Forge와 함께 사용하는 권장 방법인 “압축된” NF4 모델을 출시했습니다; “NF4는 6GB/8GB/12GB 장치에서 FP8보다 훨씬 빠르며, 16GB 이상의 VRAM 장치에서도 약간 더 빠릅니다. 6GB/8GB VRAM을 가진 GPU의 경우, 속도 향상은 약 1.3배에서 2.5배(파이토치 2.4, CUDA 12.4) 또는 약 1.3배에서 4배(파이토치 2.1, CUDA 12.1)입니다.“