Hunyuan 비디오 생성 가이드 (ComfyUI)

이 튜토리얼에서는 ComfyUI에서 텍스트-비디오 생성을 위해 Tencent의 Hunyuan Video 모델을 사용하는 방법에 대한 포괄적인 가이드를 제공합니다. 전체 과정을 단계별로 안내해 드리겠습니다.

1. ComfyUI를 최신 버전으로 설치 및 업데이트하기

아직 ComfyUI를 설치하지 않았다면, 다음 섹션을 참조하세요:

ComfyUI 설치 가이드 ComfyUI 업데이트 가이드

‘EmptyHunyuanLatentVideo’ 노드에 접근하기 위해 ComfyUI를 최신 버전으로 설치하고 업데이트해야 합니다.

2. 모델 다운로드 및 설치

HunyuanVideo는 다음 모델 파일이 필요합니다:

2.1 주요 모델 파일

다음 파일을 HunyuanVideo 주요 모델 다운로드 페이지에서 다운로드하세요:

파일 이름	크기	디렉토리
hunyuan_video_t2v_720p_bf16.safetensors	~25.6GB	ComfyUI/models/diffusion_models

2.2 텍스트 인코더 파일

다음 파일을 HunyuanVideo 텍스트 인코더 다운로드 페이지에서 다운로드하세요:

파일 이름	크기	디렉토리
clip_l.safetensors	~246MB	ComfyUI/models/text_encoders
llava_llama3_fp8_scaled.safetensors	~9.09GB	ComfyUI/models/text_encoders

2.3 VAE 모델 파일

다음 파일을 HunyuanVideo VAE 다운로드 페이지에서 다운로드하세요:

파일 이름	크기	디렉토리
hunyuan_video_vae_bf16.safetensors	~493MB	ComfyUI/models/vae

모델 디렉토리 구조 참조

ComfyUI/├── models/│   ├── diffusion_models/│   │   └── hunyuan_video_t2v_720p_bf16.safetensors  # 주요 모델 파일│   ├── text_encoders/│   │   ├── clip_l.safetensors                       # CLIP 텍스트 인코더│   │   └── llava_llama3_fp8_scaled.safetensors      # LLaVA 텍스트 인코더│   └── vae/│       └── hunyuan_video_vae_bf16.safetensors       # VAE 모델 파일

3. 워크플로우 파일 다운로드

HunyuanVideo 텍스트-비디오 워크플로우를 다운로드하세요

원시 Json 형식

워크플로우 파일 출처: HunyuanVideo 워크플로우 다운로드

기본 비디오 생성 워크플로우

HunyuanVideo는 다음 해상도 설정을 지원합니다:

해상도	9:16 비율	16:9 비율	4:3 비율	3:4 비율	1:1 비율
540p	544×960×129f	960×544×129f	624×832×129f	832×624×129f	720×720×129f
720p (권장)	720×1280×129f	1280×720×129f	1104×832×129f	832×1104×129f	960×960×129f

4. 워크플로우 노드 설명

4.1 모델 로딩 노드

1. UNETLoader
   • 목적: 주요 모델 파일 로드
   • 매개변수:
     • 모델: hunyuan_video_t2v_720p_bf16.safetensors
     • 가중치 유형: default (메모리가 부족할 경우 fp8 유형 선택 가능)
2. DualCLIPLoader
   • 목적: 텍스트 인코더 모델 로드
   • 매개변수:
     • CLIP 1: clip_l.safetensors
     • CLIP 2: llava_llama3_fp8_scaled.safetensors
     • 텍스트 인코더: hunyuan_video
3. VAELoader
   • 목적: VAE 모델 로드
   • 매개변수:
     • VAE 모델: hunyuan_video_vae_bf16.safetensors

4.2 주요 비디오 생성 노드

1. EmptyHunyuanLatentVideo
   • 목적: 비디오 잠재 공간 생성
   • 매개변수:
     • 너비: 비디오 너비 (예: 848)
     • 높이: 비디오 높이 (예: 480)
     • 프레임 수: 프레임 수 (예: 73)
     • 배치 크기: 배치 크기 (기본값 1)
2. CLIPTextEncode
   • 목적: 텍스트 프롬프트 인코딩
   • 매개변수:
     • 텍스트: 긍정적인 프롬프트 (생성하고 싶은 것을 설명)
     • 자세한 영어 설명을 사용하는 것이 권장됩니다
3. FluxGuidance
   • 목적: 생성 가이드 강도 조절
   • 매개변수:
     • 가이드 스케일: 가이드 강도 (기본값 6.0)
     • 높은 값은 결과를 프롬프트에 가깝게 만들지만 비디오 품질에 영향을 줄 수 있습니다
4. KSamplerSelect
   • 목적: 샘플러 선택
   • 매개변수:
     • 샘플러: 샘플링 방법 (기본값 euler)
     • 기타 옵션: euler_ancestral, dpm++_2m 등
5. BasicScheduler
   • 목적: 샘플링 스케줄러 설정
   • 매개변수:
     • 스케줄러: 스케줄링 방법 (기본값 simple)
     • 스텝: 샘플링 스텝 (권장 20-30)
     • 디노이즈: 디노이징 강도 (기본값 1.0)

4.3 비디오 디코딩 및 저장 노드

1. VAEDecodeTiled
   • 목적: 잠재 공간 비디오를 실제 비디오로 디코딩
   • 매개변수:
     • 타일 크기: 256 (메모리가 부족할 경우 줄일 수 있음)
     • 오버랩: 64 (메모리가 부족할 경우 줄일 수 있음)
   참고: VAEDecode보다 VAEDecodeTiled를 선호하는 것이 메모리 효율성이 더 좋습니다
2. SaveAnimatedWEBP
   • 목적: 생성된 비디오 저장
   • 매개변수:
     • 파일 이름 접두사: 파일 이름 접두사
     • FPS: 프레임 속도 (기본값 24)
     • 무손실: 무손실 여부 (기본값 false)
     • 품질: 품질 (0-100, 기본값 80)
     • 필터 유형: 필터 유형 (기본값 default)

5. 매개변수 최적화 팁

5.1 메모리 최적화

메모리 문제가 발생할 경우:

1. UNETLoader에서 fp8 가중치 유형 선택
2. VAEDecodeTiled에서 tile_size 및 overlap 매개변수 줄이기
3. 더 낮은 비디오 해상도 및 프레임 수 사용

5.2 생성 품질 최적화

1. 프롬프트 최적화[주제 설명], [행동 설명], [장면 설명], [스타일 설명], [품질 요구 사항]예시:애니메이션 스타일의 애니메이션 소녀, 거대한 페넥 귀와 하나의 큰 복슬복슬한 꼬리를 가진, 그녀는 금발의 긴 머리와 파란 눈을 가지고 있으며, 분홍색 스웨터와 긴 파란 치마를 입고 아름다운 야외 풍경에서 눈 덮인 산을 배경으로 걷고 있습니다
2. 매개변수 조정
   • 더 나은 품질을 위해 샘플링 스텝 증가
   • 더 나은 텍스트 준수를 위해 가이드 스케일 적절히 증가
   • 필요에 따라 FPS 및 비디오 품질 매개변수 조정

6. 일반적인 문제

1. 메모리 부족
   • 메모리 최적화 섹션의 제안 참조
   • 다른 메모리 소모 프로그램 종료
   • 더 낮은 비디오 해상도 설정 사용
2. 느린 생성 속도
   • 정상입니다, 비디오 생성에는 시간이 걸립니다
   • 샘플링 스텝 및 프레임 수 줄일 수 있습니다
   • 속도를 높이기 위해 더 낮은 해상도 사용
3. 품질 문제
   • 프롬프트 설명 최적화
   • 샘플링 스텝 증가
   • 가이드 스케일 조정
   • 다양한 샘플러 시도