Guia de geração de vídeo Hunyuan (ComfyUI)

Este tutorial fornecerá um guia abrangente sobre como usar o modelo Hunyuan Video da Tencent no ComfyUI para geração de texto para vídeo. Vamos guiá-lo por todo o processo passo a passo.

1. Instalar e Atualizar o ComfyUI para a Última Versão

Se você ainda não instalou o ComfyUI, consulte estas seções:

Guia de Instalação do ComfyUI Guia de Atualização do ComfyUI

Você precisará instalar e atualizar o ComfyUI para a versão mais recente para acessar o nó ‘EmptyHunyuanLatentVideo’.

2. Download e Instalação do Modelo

O HunyuanVideo requer os seguintes arquivos de modelo:

2.1 Arquivo Principal do Modelo

Baixe o seguinte arquivo da Página de Download do Modelo Principal do HunyuanVideo:

Nome do Arquivo	Tamanho	Diretório
hunyuan_video_t2v_720p_bf16.safetensors	~25.6GB	ComfyUI/models/diffusion_models

2.2 Arquivos do Codificador de Texto

Baixe os seguintes arquivos da Página de Download do Codificador de Texto do HunyuanVideo:

Nome do Arquivo	Tamanho	Diretório
clip_l.safetensors	~246MB	ComfyUI/models/text_encoders
llava_llama3_fp8_scaled.safetensors	~9.09GB	ComfyUI/models/text_encoders

2.3 Arquivo do Modelo VAE

Baixe o seguinte arquivo da Página de Download do VAE do HunyuanVideo:

Nome do Arquivo	Tamanho	Diretório
hunyuan_video_vae_bf16.safetensors	~493MB	ComfyUI/models/vae

Referência da Estrutura do Diretório do Modelo

ComfyUI/├── models/│   ├── diffusion_models/│   │   └── hunyuan_video_t2v_720p_bf16.safetensors  # Arquivo principal do modelo│   ├── text_encoders/│   │   ├── clip_l.safetensors                       # Codificador de texto CLIP│   │   └── llava_llama3_fp8_scaled.safetensors      # Codificador de texto LLaVA│   └── vae/│       └── hunyuan_video_vae_bf16.safetensors       # Arquivo do modelo VAE

3. Download do Arquivo de Fluxo de Trabalho

Baixe o Fluxo de Trabalho de Texto para Vídeo do HunyuanVideo

Formato Json Bruto

Fonte do arquivo de fluxo de trabalho: Download do Fluxo de Trabalho do HunyuanVideo

Fluxo de Trabalho Básico de Geração de Vídeo

O HunyuanVideo suporta as seguintes configurações de resolução:

Resolução	Proporção 9:16	Proporção 16:9	Proporção 4:3	Proporção 3:4	Proporção 1:1
540p	544×960×129f	960×544×129f	624×832×129f	832×624×129f	720×720×129f
720p (Recomendado)	720×1280×129f	1280×720×129f	1104×832×129f	832×1104×129f	960×960×129f

4. Explicação dos Nós do Fluxo de Trabalho

4.1 Nós de Carregamento do Modelo

1. UNETLoader
   • Propósito: Carregar o arquivo principal do modelo
   • Parâmetros:
     • Modelo: hunyuan_video_t2v_720p_bf16.safetensors
     • Tipo de Peso: default (pode escolher o tipo fp8 se a memória for insuficiente)
2. DualCLIPLoader
   • Propósito: Carregar os modelos do codificador de texto
   • Parâmetros:
     • CLIP 1: clip_l.safetensors
     • CLIP 2: llava_llama3_fp8_scaled.safetensors
     • Codificador de Texto: hunyuan_video
3. VAELoader
   • Propósito: Carregar o modelo VAE
   • Parâmetros:
     • Modelo VAE: hunyuan_video_vae_bf16.safetensors

4.2 Nós Chave de Geração de Vídeo

1. EmptyHunyuanLatentVideo
   • Propósito: Criar espaço latente de vídeo
   • Parâmetros:
     • Largura: Largura do vídeo (ex: 848)
     • Altura: Altura do vídeo (ex: 480)
     • Contagem de Quadros: Número de quadros (ex: 73)
     • Tamanho do Lote: Tamanho do lote (padrão 1)
2. CLIPTextEncode
   • Propósito: Codificação do prompt de texto
   • Parâmetros:
     • Texto: Prompts positivos (descreva o que você deseja gerar)
     • Recomendado usar descrições detalhadas em inglês
3. FluxGuidance
   • Propósito: Controlar a força da orientação de geração
   • Parâmetros:
     • Escala de Orientação: Força da orientação (padrão 6.0)
     • Valores mais altos tornam os resultados mais próximos dos prompts, mas podem afetar a qualidade do vídeo
4. KSamplerSelect
   • Propósito: Selecionar o sampler
   • Parâmetros:
     • Sampler: Método de amostragem (padrão euler)
     • Outras opções: euler_ancestral, dpm++_2m, etc.
5. BasicScheduler
   • Propósito: Definir o agendador de amostragem
   • Parâmetros:
     • Agendador: Método de agendamento (padrão simple)
     • Passos: Passos de amostragem (recomendado 20-30)
     • Denoise: Força de desruído (padrão 1.0)

4.3 Nós de Decodificação e Salvamento de Vídeo

1. VAEDecodeTiled
   • Propósito: Decodificar o vídeo do espaço latente para o vídeo real
   • Parâmetros:
     • Tamanho do Tile: 256 (pode ser reduzido se a memória for insuficiente)
     • Sobreposição: 64 (pode ser reduzido se a memória for insuficiente)
   Nota: Prefira VAEDecodeTiled em vez de VAEDecode, pois é mais eficiente em termos de memória
2. SaveAnimatedWEBP
   • Propósito: Salvar o vídeo gerado
   • Parâmetros:
     • Prefixo do Nome do Arquivo: Prefixo do nome do arquivo
     • FPS: Taxa de quadros (padrão 24)
     • Sem Perda: Se é sem perda (padrão falso)
     • Qualidade: Qualidade (0-100, padrão 80)
     • Tipo de Filtro: Tipo de filtro (padrão default)

5. Dicas de Otimização de Parâmetros

5.1 Otimização de Memória

Se encontrar problemas de memória:

1. Escolha o tipo de peso fp8 no UNETLoader
2. Reduza os parâmetros tile_size e overlap no VAEDecodeTiled
3. Use resolução de vídeo e contagem de quadros mais baixos

5.2 Otimização da Qualidade de Geração

1. Otimização do Prompt[Descrição do Sujeito], [Descrição da Ação], [Descrição da Cena], [Descrição do Estilo], [Requisitos de Qualidade]Exemplo:garota de anime estilo anime com enormes orelhas de fennec e uma grande cauda fofa, ela tem cabelo loiro longo e olhos azuis, vestindo um suéter rosa e uma longa saia azul, caminhando em uma bela paisagem ao ar livre com montanhas nevadas ao fundo
2. Ajustes de Parâmetros
   • Aumente os passos de amostragem para melhor qualidade
   • Aumente apropriadamente a Escala de Orientação para melhor adesão ao texto
   • Ajuste os parâmetros de FPS e qualidade do vídeo conforme necessário

6. Problemas Comuns

1. Memória Insuficiente
   • Consulte as sugestões da seção de otimização de memória
   • Feche outros programas que consomem muita memória
   • Use configurações de resolução de vídeo mais baixas
2. Velocidade de Geração Lenta
   • Isso é normal, a geração de vídeo leva tempo
   • É possível reduzir os passos de amostragem e a contagem de quadros
   • Use resolução mais baixa para aumentar a velocidade
3. Problemas de Qualidade
   • Otimize as descrições dos prompts
   • Aumente os passos de amostragem
   • Ajuste a Escala de Orientação
   • Tente diferentes samplers