Guía de generación de vídeo Hunyuan (ComfyUI)

Este tutorial proporcionará una guía completa sobre el uso del modelo de video Hunyuan de Tencent en ComfyUI para la generación de texto a video. Te guiaremos a través de todo el proceso paso a paso.

1. Instalar y Actualizar ComfyUI a la Última Versión

Si aún no has instalado ComfyUI, consulta estas secciones:

Guía de Instalación de ComfyUI Guía de Actualización de ComfyUI

Necesitarás instalar y actualizar ComfyUI a la última versión para acceder al nodo ‘EmptyHunyuanLatentVideo’.

2. Descarga e Instalación del Modelo

HunyuanVideo requiere los siguientes archivos de modelo:

2.1 Archivo Principal del Modelo

Descarga el siguiente archivo de Página de Descarga del Modelo Principal de HunyuanVideo:

Nombre del Archivo	Tamaño	Directorio
hunyuan_video_t2v_720p_bf16.safetensors	~25.6GB	ComfyUI/models/diffusion_models

2.2 Archivos del Codificador de Texto

Descarga los siguientes archivos de Página de Descarga del Codificador de Texto de HunyuanVideo:

Nombre del Archivo	Tamaño	Directorio
clip_l.safetensors	~246MB	ComfyUI/models/text_encoders
llava_llama3_fp8_scaled.safetensors	~9.09GB	ComfyUI/models/text_encoders

2.3 Archivo del Modelo VAE

Descarga el siguiente archivo de Página de Descarga de VAE de HunyuanVideo:

Nombre del Archivo	Tamaño	Directorio
hunyuan_video_vae_bf16.safetensors	~493MB	ComfyUI/models/vae

Referencia de la Estructura del Directorio del Modelo

ComfyUI/├── models/│   ├── diffusion_models/│   │   └── hunyuan_video_t2v_720p_bf16.safetensors  # Archivo principal del modelo│   ├── text_encoders/│   │   ├── clip_l.safetensors                       # Codificador de texto CLIP│   │   └── llava_llama3_fp8_scaled.safetensors      # Codificador de texto LLaVA│   └── vae/│       └── hunyuan_video_vae_bf16.safetensors       # Archivo del modelo VAE

3. Descarga del Archivo de Flujo de Trabajo

Descarga el Flujo de Trabajo de Texto a Video de HunyuanVideo

Formato Json Crudo

Fuente del archivo de flujo de trabajo: Descarga del Flujo de Trabajo de HunyuanVideo

Flujo de Trabajo Básico de Generación de Video

HunyuanVideo admite las siguientes configuraciones de resolución:

Resolución	Relación 9:16	Relación 16:9	Relación 4:3	Relación 3:4	Relación 1:1
540p	544×960×129f	960×544×129f	624×832×129f	832×624×129f	720×720×129f
720p (Recomendado)	720×1280×129f	1280×720×129f	1104×832×129f	832×1104×129f	960×960×129f

4. Explicación de los Nodos del Flujo de Trabajo

4.1 Nodos de Carga del Modelo

1. UNETLoader
   • Propósito: Cargar el archivo principal del modelo
   • Parámetros:
     • Modelo: hunyuan_video_t2v_720p_bf16.safetensors
     • Tipo de Peso: default (puede elegir el tipo fp8 si la memoria es insuficiente)
2. DualCLIPLoader
   • Propósito: Cargar modelos de codificadores de texto
   • Parámetros:
     • CLIP 1: clip_l.safetensors
     • CLIP 2: llava_llama3_fp8_scaled.safetensors
     • Codificador de Texto: hunyuan_video
3. VAELoader
   • Propósito: Cargar el modelo VAE
   • Parámetros:
     • Modelo VAE: hunyuan_video_vae_bf16.safetensors

4.2 Nodos Clave de Generación de Video

1. EmptyHunyuanLatentVideo
   • Propósito: Crear espacio latente de video
   • Parámetros:
     • Ancho: Ancho del video (por ejemplo, 848)
     • Altura: Altura del video (por ejemplo, 480)
     • Conteo de Fotogramas: Número de fotogramas (por ejemplo, 73)
     • Tamaño de Lote: Tamaño de lote (por defecto 1)
2. CLIPTextEncode
   • Propósito: Codificación del prompt de texto
   • Parámetros:
     • Texto: Prompts positivos (describe lo que quieres generar)
     • Se recomienda usar descripciones detalladas en inglés
3. FluxGuidance
   • Propósito: Controlar la fuerza de guía de generación
   • Parámetros:
     • Escala de Guía: Fuerza de guía (por defecto 6.0)
     • Valores más altos hacen que los resultados se acerquen más a los prompts, pero pueden afectar la calidad del video
4. KSamplerSelect
   • Propósito: Seleccionar el muestreador
   • Parámetros:
     • Muestreador: Método de muestreo (por defecto euler)
     • Otras opciones: euler_ancestral, dpm++_2m, etc.
5. BasicScheduler
   • Propósito: Establecer el programador de muestreo
   • Parámetros:
     • Programador: Método de programación (por defecto simple)
     • Pasos: Pasos de muestreo (recomendado 20-30)
     • Denoise: Fuerza de desruido (por defecto 1.0)

4.3 Nodos de Decodificación y Guardado de Video

1. VAEDecodeTiled
   • Propósito: Decodificar el video del espacio latente a video real
   • Parámetros:
     • Tamaño de Tile: 256 (puede reducirse si la memoria es insuficiente)
     • Superposición: 64 (puede reducirse si la memoria es insuficiente)
   Nota: Prefiere VAEDecodeTiled sobre VAEDecode ya que es más eficiente en memoria
2. SaveAnimatedWEBP
   • Propósito: Guardar el video generado
   • Parámetros:
     • Prefijo del Nombre de Archivo: Prefijo del nombre del archivo
     • FPS: Tasa de fotogramas (por defecto 24)
     • Sin Pérdidas: Si es sin pérdidas (por defecto falso)
     • Calidad: Calidad (0-100, por defecto 80)
     • Tipo de Filtro: Tipo de filtro (por defecto default)

5. Consejos de Optimización de Parámetros

5.1 Optimización de Memoria

Si encuentras problemas de memoria:

1. Elige el tipo de peso fp8 en UNETLoader
2. Reduce los parámetros tile_size y overlap en VAEDecodeTiled
3. Usa una resolución de video y conteo de fotogramas más bajos

5.2 Optimización de Calidad de Generación

1. Optimización del Prompt[Descripción del Sujeto], [Descripción de la Acción], [Descripción de la Escena], [Descripción del Estilo], [Requisitos de Calidad]Ejemplo:chica de anime estilo anime con enormes orejas de fennec y una gran cola esponjosa, tiene cabello rubio largo ojos azules usando un suéter rosa y una larga falda azul caminando en un hermoso paisaje al aire libre con montañas nevadas de fondo
2. Ajustes de Parámetros
   • Aumenta los pasos de muestreo para mejor calidad
   • Aumenta apropiadamente la Escala de Guía para mejor adherencia al texto
   • Ajusta los parámetros de FPS y calidad de video según sea necesario

6. Problemas Comunes

1. Memoria Insuficiente
   • Consulta las sugerencias de la sección de optimización de memoria
   • Cierra otros programas que consuman memoria
   • Usa configuraciones de resolución de video más bajas
2. Velocidad de Generación Lenta
   • Esto es normal, la generación de video toma tiempo
   • Se pueden reducir los pasos de muestreo y el conteo de fotogramas
   • Usa una resolución más baja para aumentar la velocidad
3. Problemas de Calidad
   • Optimiza las descripciones de los prompts
   • Aumenta los pasos de muestreo
   • Ajusta la Escala de Guía
   • Prueba diferentes muestreadores