Hunyuan视频生成指南（ComfyUI）

本教程将提供使用腾讯的混元视频模型在ComfyUI中进行文本到视频生成的全面指南。我们将逐步带您完成整个过程。

1. 安装和更新ComfyUI到最新版本

如果您尚未安装ComfyUI，请参考以下部分：

ComfyUI安装指南 ComfyUI更新指南

您需要安装并更新ComfyUI到最新版本，以访问“EmptyHunyuanLatentVideo”节点。

2. 模型下载和安装

混元视频需要以下模型文件：

2.1 主模型文件

从 混元视频主模型下载页面下载以下文件：

文件名	大小	目录
hunyuan_video_t2v_720p_bf16.safetensors	~25.6GB	ComfyUI/models/diffusion_models

2.2 文本编码器文件

从 混元视频文本编码器下载页面下载以下文件：

文件名	大小	目录
clip_l.safetensors	~246MB	ComfyUI/models/text_encoders
llava_llama3_fp8_scaled.safetensors	~9.09GB	ComfyUI/models/text_encoders

2.3 VAE模型文件

从 混元视频VAE下载页面下载以下文件：

文件名	大小	目录
hunyuan_video_vae_bf16.safetensors	~493MB	ComfyUI/models/vae

模型目录结构参考

ComfyUI/├── models/│   ├── diffusion_models/│   │   └── hunyuan_video_t2v_720p_bf16.safetensors  # 主模型文件│   ├── text_encoders/│   │   ├── clip_l.safetensors                       # CLIP文本编码器│   │   └── llava_llama3_fp8_scaled.safetensors      # LLaVA文本编码器│   └── vae/│       └── hunyuan_video_vae_bf16.safetensors       # VAE模型文件

3. 工作流文件下载

下载混元视频文本到视频工作流

原始Json格式

工作流文件来源: 混元视频工作流下载

基本视频生成工作流

混元视频支持以下分辨率设置：

分辨率	9:16比例	16:9比例	4:3比例	3:4比例	1:1比例
540p	544×960×129f	960×544×129f	624×832×129f	832×624×129f	720×720×129f
720p（推荐）	720×1280×129f	1280×720×129f	1104×832×129f	832×1104×129f	960×960×129f

4. 工作流节点说明

4.1 模型加载节点

1. UNETLoader
   • 目的：加载主模型文件
   • 参数：
     • 模型：hunyuan_video_t2v_720p_bf16.safetensors
     • 权重类型：default（如果内存不足可以选择fp8类型）
2. DualCLIPLoader
   • 目的：加载文本编码器模型
   • 参数：
     • CLIP 1：clip_l.safetensors
     • CLIP 2：llava_llama3_fp8_scaled.safetensors
     • 文本编码器：hunyuan_video
3. VAELoader
   • 目的：加载VAE模型
   • 参数：
     • VAE模型：hunyuan_video_vae_bf16.safetensors

4.2 关键视频生成节点

1. EmptyHunyuanLatentVideo
   • 目的：创建视频潜在空间
   • 参数：
     • 宽度：视频宽度（例如，848）
     • 高度：视频高度（例如，480）
     • 帧数：帧的数量（例如，73）
     • 批量大小：批量大小（默认1）
2. CLIPTextEncode
   • 目的：文本提示编码
   • 参数：
     • 文本：正向提示（描述您想要生成的内容）
     • 建议使用详细的英文描述
3. FluxGuidance
   • 目的：控制生成引导强度
   • 参数：
     • 引导比例：引导强度（默认6.0）
     • 较高的值使结果更接近提示，但可能影响视频质量
4. KSamplerSelect
   • 目的：选择采样器
   • 参数：
     • 采样器：采样方法（默认euler）
     • 其他选项：euler_ancestral、dpm++_2m等
5. BasicScheduler
   • 目的：设置采样调度器
   • 参数：
     • 调度器：调度方法（默认simple）
     • 步骤：采样步骤（推荐20-30）
     • 去噪：去噪强度（默认1.0）

4.3 视频解码和保存节点

1. VAEDecodeTiled
   • 目的：将潜在空间视频解码为实际视频
   • 参数：
     • 瓦片大小：256（如果内存不足可以减少）
     • 重叠：64（如果内存不足可以减少）
   注意：优先使用VAEDecodeTiled而不是VAEDecode，因为它更节省内存
2. SaveAnimatedWEBP
   • 目的：保存生成的视频
   • 参数：
     • 文件名前缀：文件名前缀
     • FPS：帧率（默认24）
     • 无损：是否无损（默认false）
     • 质量：质量（0-100，默认80）
     • 过滤器类型：过滤器类型（默认default）

5. 参数优化技巧

5.1 内存优化

如果遇到内存问题：

1. 在UNETLoader中选择fp8权重类型
2. 在VAEDecodeTiled中减少tile_size和overlap参数
3. 使用较低的视频分辨率和帧数

5.2 生成质量优化

1. 提示优化[主题描述], [动作描述], [场景描述], [风格描述], [质量要求]示例：动漫风格的动漫女孩，拥有巨大的沙狐耳朵和一条大毛茸茸的尾巴，她有金色的长发和蓝色的眼睛，穿着粉色毛衣和长蓝色裙子，走在美丽的户外风景中，背景是雪山
2. 参数调整
   • 增加采样步骤以获得更好的质量
   • 适当增加引导比例以提高文本遵循度
   • 根据需要调整FPS和视频质量参数

6. 常见问题

1. 内存不足
   • 参考内存优化部分的建议
   • 关闭其他占用内存的程序
   • 使用较低的视频分辨率设置
2. 生成速度慢
   • 这是正常的，视频生成需要时间
   • 可以减少采样步骤和帧数
   • 使用较低的分辨率以提高速度
3. 质量问题
   • 优化提示描述
   • 增加采样步骤
   • 调整引导比例
   • 尝试不同的采样器