คู่มือการสร้างวิดีโอ Hunyuan (ComfyUI)

บทเรียนนี้จะให้คำแนะนำที่ครอบคลุมเกี่ยวกับการใช้โมเดล Hunyuan Video ของ Tencent ใน ComfyUI สำหรับการสร้างวิดีโอจากข้อความ เราจะพาคุณผ่านกระบวนการทั้งหมดทีละขั้นตอน

1. ติดตั้งและอัปเดต ComfyUI เป็นเวอร์ชันล่าสุด

หากคุณยังไม่ได้ติดตั้ง ComfyUI โปรดดูที่ส่วนเหล่านี้:

คู่มือการติดตั้ง ComfyUI คู่มือการอัปเดต ComfyUI

คุณจะต้องติดตั้งและอัปเดต ComfyUI เป็นเวอร์ชันล่าสุดเพื่อเข้าถึงโหนด ‘EmptyHunyuanLatentVideo’

2. การดาวน์โหลดและติดตั้งโมเดล

HunyuanVideo ต้องการไฟล์โมเดลดังต่อไปนี้:

2.1 ไฟล์โมเดลหลัก

ดาวน์โหลดไฟล์ต่อไปนี้จาก หน้าดาวน์โหลดโมเดลหลัก HunyuanVideo:

ชื่อไฟล์	ขนาด	ไดเรกทอรี
hunyuan_video_t2v_720p_bf16.safetensors	~25.6GB	ComfyUI/models/diffusion_models

2.2 ไฟล์ตัวเข้ารหัสข้อความ

ดาวน์โหลดไฟล์ต่อไปนี้จาก หน้าดาวน์โหลดตัวเข้ารหัสข้อความ HunyuanVideo:

ชื่อไฟล์	ขนาด	ไดเรกทอรี
clip_l.safetensors	~246MB	ComfyUI/models/text_encoders
llava_llama3_fp8_scaled.safetensors	~9.09GB	ComfyUI/models/text_encoders

2.3 ไฟล์โมเดล VAE

ดาวน์โหลดไฟล์ต่อไปนี้จาก หน้าดาวน์โหลด VAE ของ HunyuanVideo:

ชื่อไฟล์	ขนาด	ไดเรกทอรี
hunyuan_video_vae_bf16.safetensors	~493MB	ComfyUI/models/vae

การอ้างอิงโครงสร้างไดเรกทอรีโมเดล

ComfyUI/├── models/│   ├── diffusion_models/│   │   └── hunyuan_video_t2v_720p_bf16.safetensors  # ไฟล์โมเดลหลัก│   ├── text_encoders/│   │   ├── clip_l.safetensors                       # ตัวเข้ารหัสข้อความ CLIP│   │   └── llava_llama3_fp8_scaled.safetensors      # ตัวเข้ารหัสข้อความ LLaVA│   └── vae/│       └── hunyuan_video_vae_bf16.safetensors       # ไฟล์โมเดล VAE

3. การดาวน์โหลดไฟล์เวิร์กโฟลว์

ดาวน์โหลด HunyuanVideo เวิร์กโฟลว์การสร้างวิดีโอจากข้อความ

รูปแบบ Json ดิบ

แหล่งไฟล์เวิร์กโฟลว์: ดาวน์โหลดเวิร์กโฟลว์ HunyuanVideo

เวิร์กโฟลว์การสร้างวิดีโอพื้นฐาน

HunyuanVideo รองรับการตั้งค่าความละเอียดดังต่อไปนี้:

ความละเอียด	อัตราส่วน 9:16	อัตราส่วน 16:9	อัตราส่วน 4:3	อัตราส่วน 3:4	อัตราส่วน 1:1
540p	544×960×129f	960×544×129f	624×832×129f	832×624×129f	720×720×129f
720p (แนะนำ)	720×1280×129f	1280×720×129f	1104×832×129f	832×1104×129f	960×960×129f

4. คำอธิบายโหนดเวิร์กโฟลว์

4.1 โหนดการโหลดโมเดล

1. UNETLoader
   • วัตถุประสงค์: โหลดไฟล์โมเดลหลัก
   • พารามิเตอร์:
     • โมเดล: hunyuan_video_t2v_720p_bf16.safetensors
     • ประเภทน้ำหนัก: default (สามารถเลือกประเภท fp8 หากหน่วยความจำไม่เพียงพอ)
2. DualCLIPLoader
   • วัตถุประสงค์: โหลดโมเดลตัวเข้ารหัสข้อความ
   • พารามิเตอร์:
     • CLIP 1: clip_l.safetensors
     • CLIP 2: llava_llama3_fp8_scaled.safetensors
     • ตัวเข้ารหัสข้อความ: hunyuan_video
3. VAELoader
   • วัตถุประสงค์: โหลดโมเดล VAE
   • พารามิเตอร์:
     • โมเดล VAE: hunyuan_video_vae_bf16.safetensors

4.2 โหนดการสร้างวิดีโอหลัก

1. EmptyHunyuanLatentVideo
   • วัตถุประสงค์: สร้างพื้นที่ลับของวิดีโอ
   • พารามิเตอร์:
     • ความกว้าง: ความกว้างของวิดีโอ (เช่น 848)
     • ความสูง: ความสูงของวิดีโอ (เช่น 480)
     • จำนวนเฟรม: จำนวนเฟรม (เช่น 73)
     • ขนาดแบตช์: ขนาดแบตช์ (ค่าเริ่มต้น 1)
2. CLIPTextEncode
   • วัตถุประสงค์: การเข้ารหัสข้อความ prompt
   • พารามิเตอร์:
     • ข้อความ: positive prompts (อธิบายสิ่งที่คุณต้องการสร้าง)
     • แนะนำให้ใช้คำบรรยายภาษาอังกฤษที่ละเอียด
3. FluxGuidance
   • วัตถุประสงค์: ควบคุมความแข็งแกร่งของการแนะนำการสร้าง
   • พารามิเตอร์:
     • Guidance Scale: ความแข็งแกร่งของการแนะนำ (ค่าเริ่มต้น 6.0)
     • ค่าที่สูงกว่าจะทำให้ผลลัพธ์ใกล้เคียงกับ prompts แต่จะส่งผลต่อคุณภาพวิดีโอ
4. KSamplerSelect
   • วัตถุประสงค์: เลือก sampler
   • พารามิเตอร์:
     • Sampler: วิธีการสุ่ม (ค่าเริ่มต้น euler)
     • ตัวเลือกอื่นๆ: euler_ancestral, dpm++_2m, เป็นต้น
5. BasicScheduler
   • วัตถุประสงค์: ตั้งค่าตารางการสุ่ม
   • พารามิเตอร์:
     • Scheduler: วิธีการจัดตาราง (ค่าเริ่มต้น simple)
     • Steps: ขั้นตอนการสุ่ม (แนะนำ 20-30)
     • Denoise: ความแข็งแกร่งในการลดเสียงรบกวน (ค่าเริ่มต้น 1.0)

4.3 โหนดการถอดรหัสและบันทึกวิดีโอ

1. VAEDecodeTiled
   • วัตถุประสงค์: ถอดรหัสวิดีโอในพื้นที่ลับเป็นวิดีโอจริง
   • พารามิเตอร์:
     • ขนาด Tile: 256 (สามารถลดได้หากหน่วยความจำไม่เพียงพอ)
     • การทับซ้อน: 64 (สามารถลดได้หากหน่วยความจำไม่เพียงพอ)
   หมายเหตุ: แนะนำให้ใช้ VAEDecodeTiled แทน VAEDecode เนื่องจากมีประสิทธิภาพในการใช้หน่วยความจำมากกว่า
2. SaveAnimatedWEBP
   • วัตถุประสงค์: บันทึกวิดีโอที่สร้างขึ้น
   • พารามิเตอร์:
     • ชื่อไฟล์นำหน้า: ชื่อไฟล์นำหน้า
     • FPS: อัตราเฟรม (ค่าเริ่มต้น 24)
     • Lossless: ว่าจะเป็น lossless หรือไม่ (ค่าเริ่มต้น false)
     • คุณภาพ: คุณภาพ (0-100, ค่าเริ่มต้น 80)
     • ประเภทฟิลเตอร์: ประเภทฟิลเตอร์ (ค่าเริ่มต้น default)

5. เคล็ดลับการปรับแต่งพารามิเตอร์

5.1 การปรับแต่งหน่วยความจำ

หากพบปัญหาเกี่ยวกับหน่วยความจำ:

1. เลือกประเภทน้ำหนัก fp8 ใน UNETLoader
2. ลดพารามิเตอร์ tile_size และ overlap ใน VAEDecodeTiled
3. ใช้ความละเอียดวิดีโอและจำนวนเฟรมที่ต่ำลง

5.2 การปรับแต่งคุณภาพการสร้าง

1. การปรับแต่ง Prompt[คำอธิบายหัวข้อ], [คำอธิบายการกระทำ], [คำอธิบายฉาก], [คำอธิบายสไตล์], [ข้อกำหนดคุณภาพ]ตัวอย่าง:สาวอนิเมะสไตล์อนิเมะที่มีหูฟีนิกซ์ขนาดใหญ่และหางฟูใหญ่ เธอมีผมยาวสีบลอนด์ ตาสีฟ้า สวมสเวตเตอร์สีชมพูและกระโปรงยาวสีน้ำเงิน เดินอยู่ในทิวทัศน์กลางแจ้งที่สวยงามพร้อมภูเขาหิมะอยู่เบื้องหลัง
2. การปรับพารามิเตอร์
   • เพิ่มจำนวนขั้นตอนการสุ่มเพื่อคุณภาพที่ดีกว่า
   • เพิ่ม Guidance Scale อย่างเหมาะสมเพื่อให้สอดคล้องกับข้อความได้ดีขึ้น
   • ปรับ FPS และพารามิเตอร์คุณภาพวิดีโอตามความจำเป็น

6. ปัญหาที่พบบ่อย

1. หน่วยความจำไม่เพียงพอ
   • ดูคำแนะนำในส่วนการปรับแต่งหน่วยความจำ
   • ปิดโปรแกรมอื่นที่ใช้หน่วยความจำมาก
   • ใช้การตั้งค่าความละเอียดวิดีโอที่ต่ำลง
2. ความเร็วในการสร้างช้า
   • นี่เป็นเรื่องปกติ การสร้างวิดีโอต้องใช้เวลา
   • สามารถลดจำนวนขั้นตอนการสุ่มและจำนวนเฟรม
   • ใช้ความละเอียดที่ต่ำลงเพื่อเพิ่มความเร็ว
3. ปัญหาคุณภาพ
   • ปรับแต่งคำอธิบาย prompt
   • เพิ่มจำนวนขั้นตอนการสุ่ม
   • ปรับ Guidance Scale
   • ลองใช้ sampler ที่แตกต่างกัน