本教程將提供一個全面的指南,介紹如何在 ComfyUI 中使用騰訊的 Hunyuan Video 模型進行文本到視頻的生成。我們將一步步引導您完成整個過程。
1. 安裝並更新 ComfyUI 至最新版本
如果您尚未安裝 ComfyUI,請參考以下部分:
ComfyUI 安裝指南 ComfyUI 更新指南
您需要安裝並更新 ComfyUI 至最新版本,以訪問 ‘EmptyHunyuanLatentVideo’ 節點。
2. 模型下載與安裝
HunyuanVideo 需要以下模型文件:
2.1 主要模型文件
從 HunyuanVideo 主要模型下載頁面下載以下文件:
| 文件名 | 大小 | 目錄 |
|---|
| hunyuan_video_t2v_720p_bf16.safetensors | ~25.6GB | ComfyUI/models/diffusion_models |
2.2 文本編碼器文件
從 HunyuanVideo 文本編碼器下載頁面下載以下文件:
| 文件名 | 大小 | 目錄 |
|---|
| clip_l.safetensors | ~246MB | ComfyUI/models/text_encoders |
| llava_llama3_fp8_scaled.safetensors | ~9.09GB | ComfyUI/models/text_encoders |
2.3 VAE 模型文件
從 HunyuanVideo VAE 下載頁面下載以下文件:
| 文件名 | 大小 | 目錄 |
|---|
| hunyuan_video_vae_bf16.safetensors | ~493MB | ComfyUI/models/vae |
模型目錄結構參考
ComfyUI/├── models/│ ├── diffusion_models/│ │ └── hunyuan_video_t2v_720p_bf16.safetensors # 主要模型文件│ ├── text_encoders/│ │ ├── clip_l.safetensors # CLIP 文本編碼器│ │ └── llava_llama3_fp8_scaled.safetensors # LLaVA 文本編碼器│ └── vae/│ └── hunyuan_video_vae_bf16.safetensors # VAE 模型文件
3. 工作流程文件下載
下載 HunyuanVideo 文本到視頻工作流程
原始 Json 格式
工作流程文件來源: HunyuanVideo 工作流程下載
基本視頻生成工作流程
HunyuanVideo 支持以下解析度設置:
| 解析度 | 9:16 比例 | 16:9 比例 | 4:3 比例 | 3:4 比例 | 1:1 比例 |
|---|
| 540p | 544×960×129f | 960×544×129f | 624×832×129f | 832×624×129f | 720×720×129f |
| 720p (推薦) | 720×1280×129f | 1280×720×129f | 1104×832×129f | 832×1104×129f | 960×960×129f |
4. 工作流程節點解釋
4.1 模型加載節點
- UNETLoader
- 目的:加載主要模型文件
- 參數:
- 模型:
hunyuan_video_t2v_720p_bf16.safetensors
- 權重類型:
default(如果內存不足可選擇 fp8 類型)
- DualCLIPLoader
- 目的:加載文本編碼器模型
- 參數:
- CLIP 1:
clip_l.safetensors
- CLIP 2:
llava_llama3_fp8_scaled.safetensors
- 文本編碼器:
hunyuan_video
- VAELoader
- 目的:加載 VAE 模型
- 參數:
- VAE 模型:
hunyuan_video_vae_bf16.safetensors
4.2 主要視頻生成節點
- EmptyHunyuanLatentVideo
- 目的:創建視頻潛在空間
- 參數:
- 寬度:視頻寬度(例如,848)
- 高度:視頻高度(例如,480)
- 幀數:幀數(例如,73)
- 批次大小:批次大小(默認為 1)
- CLIPTextEncode
- 目的:文本提示編碼
- 參數:
- 文本:正面提示(描述您想生成的內容)
- 建議使用詳細的英文描述
- FluxGuidance
- 目的:控制生成指導強度
- 參數:
- 指導比例:指導強度(默認為 6.0)
- 較高的值使結果更接近提示,但可能影響視頻質量
- KSamplerSelect
- 目的:選擇取樣器
- 參數:
- 取樣器:取樣方法(默認為
euler)
- 其他選項:
euler_ancestral、dpm++_2m等
- BasicScheduler
- 目的:設置取樣調度器
- 參數:
- 調度器:調度方法(默認為
simple)
- 步驟:取樣步驟(建議 20-30)
- 去噪:去噪強度(默認為 1.0)
4.3 視頻解碼與保存節點
- VAEDecodeTiled
- 目的:將潛在空間視頻解碼為實際視頻
- 參數:
- 瓷磚大小:256(如果內存不足可減少)
- 重疊:64(如果內存不足可減少)
注意:優先使用 VAEDecodeTiled 而非 VAEDecode,因為它更節省內存
- SaveAnimatedWEBP
- 目的:保存生成的視頻
- 參數:
- 文件名前綴:文件名前綴
- FPS:幀率(默認為 24)
- 無損:是否無損(默認為 false)
- 質量:質量(0-100,默認為 80)
- 過濾器類型:過濾器類型(默認為
default)
5. 參數優化提示
5.1 內存優化
如果遇到內存問題:
- 在 UNETLoader 中選擇 fp8 權重類型
- 在 VAEDecodeTiled 中減少 tile_size 和 overlap 參數
- 使用較低的視頻解析度和幀數
5.2 生成質量優化
- 提示優化
[主題描述], [動作描述], [場景描述], [風格描述], [質量要求]示例:動漫風格的動漫女孩,擁有巨大的沙漠狐耳朵和一條大毛茸茸的尾巴,她有金色的長髮和藍色的眼睛,穿著粉色毛衣和長藍色裙子,在美麗的戶外風景中走動,背景是雪山
- 參數調整
- 增加取樣步驟以獲得更好的質量
- 適當增加指導比例以提高文本遵循度
- 根據需要調整 FPS 和視頻質量參數
6. 常見問題
- 內存不足
- 參考內存優化部分的建議
- 關閉其他佔用內存的程序
- 使用較低的視頻解析度設置
- 生成速度慢
- 這是正常的,視頻生成需要時間
- 可以減少取樣步驟和幀數
- 使用較低的解析度以提高速度
- 質量問題
- 優化提示描述
- 增加取樣步驟
- 調整指導比例
- 嘗試不同的取樣器