วิธีใช้งานโมเดล FLUX AI ฟรี (NSFW)

ในเดือนสิงหาคม 2024 ทีมพัฒนาที่เคยทำงานกับ Stability AI ได้ประกาศการก่อตั้ง Black Forest Labs และการเปิดตัวโมเดล AI ตัวแรกของพวกเขา FLUX.1 ซึ่งได้รับการฝึกฝนจากพารามิเตอร์ 12 พันล้านตัวและอิงจาก สถาปัตยกรรมทรานส์ฟอร์มเมอร์ใหม่.

การตอบรับต่อโมเดลนี้เป็นไปในทางบวกอย่างท่วมท้น ผู้ใช้รู้สึกตกใจในคุณภาพของภาพและการรับรู้คำสั่งที่ดีเยี่ยม

สิ่งที่ทำให้โมเดล Flux.1 พิเศษยิ่งขึ้นคือมันเป็นโมเดลโอเพนซอร์ส ดังนั้นชุมชนจะสามารถสร้างบนมันได้โดยการฝึกโมเดลที่กำหนดเองและ LORAs ที่มีความสามารถต่างๆ

Flux.1 ประกอบด้วยสามรูปแบบโมเดล;

• Flux.1 [Pro] – Pro มีให้ใช้งานเฉพาะผ่าน API เท่านั้น คุณสามารถใช้ API ของ Black Forest Labs หรือพันธมิตรทางการค้าหลายรายในการสร้างภาพด้วย Flux.1 Pro น้ำหนัก (ไฟล์โมเดล) ไม่สามารถดาวน์โหลดได้ และแม้ว่าจะดาวน์โหลดได้ ความต้องการของระบบจะสูงเกินไปสำหรับการใช้งานกับฮาร์ดแวร์ของผู้บริโภค

• Flux.1 [Dev] – Dev เป็นโมเดลโอเพนซอร์สสำหรับแอปพลิเคชันที่ไม่ใช่เชิงพาณิชย์ สกัดจาก Flux.1 [Pro] มันให้คุณภาพภาพและความสามารถในการรับรู้คำสั่งที่คล้ายกันในขณะที่มีประสิทธิภาพมากขึ้น; เราสามารถรันมันในเครื่องท้องถิ่นบนฮาร์ดแวร์ของผู้บริโภค Flux.1 [Dev] ได้รับการปล่อยภายใต้ ใบอนุญาตไม่ใช่เชิงพาณิชย์ ดาวน์โหลดจาก Hugging Face ที่นี่.

• Flux.1 [Schnell] – Schnell เป็นโมเดลที่เร็วมาก มันให้คุณทำการสร้างที่มีจำนวนขั้นตอนต่ำอย่างรวดเร็วแม้จะมีคุณภาพภาพที่ลดลง Flux.1 [Schnell] ได้รับการปล่อยภายใต้ ใบอนุญาต Apache-2.0 ดาวน์โหลดจาก Hugging Face ที่นี่.

FLUX.1 ดีแค่ไหน? คุณภาพที่ฉันสามารถคาดหวังได้คืออะไร?

หลายคนที่ชื่นชอบ AI อธิบายว่า “นี่คือโมเดลที่เรารอคอย” (โดยเฉพาะหลังจากความผิดหวังจาก SD3) Flux ได้รับการตอบรับและยอมรับอย่างกว้างขวาง คุณภาพของภาพ ความสอดคล้องกับคำสั่ง และคุณภาพภาพโดยรวมอยู่ในระดับที่ยอดเยี่ยม ตั้งมาตรฐานใหม่ในภูมิทัศน์ text2img

ลองดูตัวอย่างเหล่านี้:

และอย่าลืมความสามารถ NSFW (ดูคำสั่ง NSFW เพิ่มเติมที่นี่):

ฉันจะลองใช้ Flux ออนไลน์ได้อย่างไร?

คุณสามารถใช้ FLUX.1 ได้ฟรี (ใช้งานจำกัด) บน Hugging Face นี่คือเครื่องมือสร้างสำหรับ Dev และ Schnell โมเดล.

คุณยังสามารถรัน FLUX.1 บน Replicate.com: Dev และ Schnell (ใช้งานฟรีแบบจำกัดเช่นกัน).

ฉันจะใช้ Flux ในเครื่องได้อย่างไร?

ขณะนี้มีตัวเลือกสองสามอย่างสำหรับการสร้างในเครื่อง ขึ้นอยู่กับฮาร์ดแวร์ของคุณ!

ในขณะที่เขียนไม่มีการสนับสนุน Automatic1111.

มาดูตัวเลือกของเรากัน:

• SwarmUI (คำแนะนำส่วนตัวของฉัน)
• Forge
• ComfyUI

การใช้ SwarmUI

นี่คือลิงก์ดาวน์โหลด:

https://github.com/mcmonkeyprojects/SwarmUI

ทำตามคำแนะนำซึ่งได้ถูกทำซ้ำที่นี่:

หมายเหตุ: หากคุณใช้ Windows 10 คุณอาจต้องติดตั้ง git และ DotNET 8 ด้วยตนเองก่อน (Windows 11 จะทำโดยอัตโนมัติ)

• ดาวน์โหลดไฟล์ The Install-Windows.bat เก็บไว้ที่ไหนสักแห่งที่คุณต้องการติดตั้ง (ไม่ใช่ Program Files) และรันมัน สำหรับฉันอยู่ในไดรฟ์ D: แต่ขึ้นอยู่กับคุณ
  • มันควรเปิดหน้าต่างคำสั่งและติดตั้งตัวเอง
  • หากมันปิดโดยไม่ไปต่อ ลองรันมันอีกครั้ง บางครั้งมันต้องรันสองครั้ง
  • มันจะวางไอคอนบนเดสก์ท็อปของคุณที่คุณสามารถใช้เพื่อเปิดเซิร์ฟเวอร์ใหม่ได้ทุกเมื่อ
  • เมื่อการติดตั้งเสร็จสิ้น มันจะเปิดเซิร์ฟเวอร์ StableSwarmUI โดยอัตโนมัติ และเปิดหน้าต่างเบราว์เซอร์ไปยังหน้าติดตั้ง
  • ทำตามคำแนะนำการติดตั้งบนหน้า
  • หลังจากที่คุณส่งแล้ว ให้รอสักครู่ เพราะบางส่วนของการประมวลผลการติดตั้งใช้เวลาสักครู่ (ดาวน์โหลดโมเดลและอื่นๆ)

นั่นควรจะเสร็จสิ้นการติดตั้ง โดยเสนอโมเดล SD XL Base.

ในการเริ่มต้น ให้ดับเบิลคลิกที่ไฟล์ “Launch-Windows.bat” มันจะวางทางลัดบนเดสก์ท็อปของคุณด้วย เว้นแต่คุณจะบอกไม่ให้ทำ

ลองสร้างภาพด้วยโมเดล XL หากทำงานได้ก็ดี!

ดาวน์โหลดโมเดล Flux จากที่นี่:

• โมเดล Dev หากคุณมี VRAM 12GB+:
  https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

• โมเดล Schnell หากคุณมีน้อยกว่า:
  https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

ดาวน์โหลดไฟล์ “ae.safetensors” ที่เกี่ยวข้องสำหรับโมเดลที่คุณเลือก.

วางไฟล์ FLUX ที่คุณเลือกในโฟลเดอร์ unet ของคุณ:

SwarmUI\Models\unet

จากนั้นวางไฟล์ “ae.safetensors” ในโฟลเดอร์ VAE ของคุณ:

SwarmUI\Models\VAE

ปิดแอป ทั้งเบราว์เซอร์และคอนโซล.

รีสตาร์ท Swarm ด้วยไฟล์ Windows-launch.bat.

คุณควรจะสามารถเลือก Flux เป็นโมเดลได้ ลองสร้างภาพดู.

มันจะบอกคุณว่ามันอยู่ในคิว.

คุณจะต้องรอ เพราะ Swarm กำลังดาวน์โหลดไฟล์ขนาดใหญ่ คุณสามารถตรวจสอบความก้าวหน้าในคอนโซล.

เมื่อการดาวน์โหลดเสร็จสิ้น ภาพแรกของคุณควรเริ่มปรากฏ!

ComfyUI

Flux.1 เปิดตัวพร้อมการสนับสนุน ComfyUI ตั้งแต่วันแรก ทำให้เป็นหนึ่งในวิธีที่เร็วที่สุดและง่ายที่สุดในการเริ่มต้นการสร้างด้วยโมเดล Black Forest Labs ดั้งเดิม เพื่อเริ่มใช้ Flux กับ ComfyUI คุณจะต้องมีส่วนประกอบต่อไปนี้:

โมเดล Flux.1	ลิงก์ HF	ลิงก์ Civitai
ae.safetensors (vae, จำเป็น)	Black Forest Labs HF Repository
flux1-dev.safetensors	Black Forest Labs HF Repository	Civitai Download Link
flux1-schnell.safetensors	Black Forest Labs HF Repository	Civitai Download Link
Clip_l.safetensors	Comfyanonymous HF Repository
t5xxl_fp16.safetensors	Comfyanonymous HF Repository
t5xxl_fp8_e4m3fn.safetensors	Comfyanonymous HF Repository

• หมายเหตุว่า Flux-dev และ -schnell .safetensors โมเดลต้องถูกวางในโฟลเดอร์ ComfyUI\models\unet.

• โมเดล Clip ต้องถูกวางในโฟลเดอร์ ComfyUI\models\clip คุณอาจมีโมเดล Clip ที่จำเป็นอยู่แล้วหากคุณเคยใช้ SD3 มาก่อน.

• ข้อพิจารณาเกี่ยวกับความต้องการของระบบบางประการ;
  • flux1-dev ต้องการ VRAM มากกว่า 12GB
  • flux1-schnell สามารถรันได้บน VRAM 12GB
  • หากคุณมี RAM ระบบน้อยกว่า 32GB ให้ใช้ตัวเข้ารหัสข้อความ t5xxl_fp8_e4m3fn แทนเวอร์ชัน t5xxl_fp16.

⚠️ หากคุณไม่สามารถรันโมเดล “full fat” อย่างเป็นทางการได้ ผู้สร้าง Kijai  ได้ปล่อยเวอร์ชัน fp8 ที่บีบอัดของทั้ง flux1-dev และ flux1-schnell แม้ว่าจะมีการลดคุณภาพภาพบ้าง แต่เวอร์ชันเหล่านี้ทำให้ผู้ใช้ที่มี VRAM น้อยสามารถสร้างด้วย Flux ได้.

โมเดล Flux.1	ลิงก์ HF
flux1-dev-fp8.safetensors	Kijai HF Repository
flux1-schnell-fp8.safetensors	Kijai HF Repository

คุณจะต้องมีเวิร์กโฟลว์พื้นฐานสำหรับการแปลงข้อความเป็นภาพเพื่อเริ่มต้น ลิงก์ดาวน์โหลดด้านล่างให้การตั้งค่าที่ตรงไปตรงมาพร้อมกับตัวเลือกที่ตั้งไว้ล่วงหน้าที่ดี นอกจากนี้เรายังรวม LoRA Loader (ข้ามโดยค่าเริ่มต้น) เนื่องจากเราเริ่มเห็น LoRAs แรกของ Flux ปรากฏบน Civitai!

civitai_flux_t2i_workflowดาวน์โหลด

Forge

หนึ่งใน อินเทอร์เฟซที่เราชื่นชอบ, Forge ได้รับการสนับสนุน Flux ในการอัปเดตใหญ่ที่น่าประหลาดใจ! หากคุณคุ้นเคยกับอินเทอร์เฟซของ Automatic1111 คุณจะรู้สึกเหมือนอยู่บ้านกับ Forge; ส่วนหน้าของ Gradio แทบจะเหมือนกัน.

Forge สามารถสนับสนุนโมเดล Flux ดั้งเดิมและตัวเข้ารหัสข้อความตามที่ระบุไว้ข้างต้นสำหรับ Comfy.

ในการใช้โมเดลและตัวเข้ารหัสข้อความทั้งหมด จะมีฟิลด์ใหม่ที่สามารถโหลดโมเดลและตัวเข้ารหัสได้;

ผู้สร้าง Forge, Illyasviel ได้ปล่อยโมเดล NF4 “บีบอัด” ซึ่งเป็นวิธีที่แนะนำในการใช้ Flux กับ Forge; “NF4 เร็วกว่ามากเมื่อเปรียบเทียบกับ FP8 บนอุปกรณ์ 6GB/8GB/12GB และเร็วขึ้นเล็กน้อยสำหรับอุปกรณ์ที่มี VRAM มากกว่า 16GB สำหรับ GPU ที่มี VRAM 6GB/8GB ความเร็วเพิ่มขึ้นประมาณ 1.3x ถึง 2.5x (pytorch 2.4, cuda 12.4) หรือประมาณ 1.3x ถึง 4x (pytorch 2.1, cuda 12.1)“

โมเดล	ลิงก์ HF
flux1-dev-bnb-nf4-v2.safetensors	Illyasviel HF Repository
flux1-dev-fp8.safetensors	Illyasviel HF Repository

หมายเหตุ! หาก GPU ของคุณสนับสนุน CUDA ที่ใหม่กว่ากว่า 11.7 คุณสามารถใช้โมเดล NF4 ได้ โดยส่วนใหญ่ GPU RTX3XXX และ 4XXX สนับสนุน NF4).

หาก GPU ของคุณเป็น GTX10XX/20XX อาจไม่สนับสนุน NF4 ในกรณีนี้ให้ใช้โมเดล fp8.