超强的AI 视频生成模型!完全免费开源,生成质量极高!HunyuanVideo 模型

c1f69f569e20241204150716

此开源的视频生成模型:包含 PyTorch 模型定义、预训练权重和推理/采样代码

📜 要求

下表为运行HunyuanVideo模型(batch size = 1)生成视频的要求:

模型 设置
(高度/宽度/框架)
去噪步骤 GPU 峰值内存
混元视频 720px1280px129f 三十 60GB
混元视频 544px960px129f 三十 45GB
  • 需要支持 CUDA 的 NVIDIA GPU。
    • 我们已经在单个 H800/H20 GPU 上进行了测试。
    • 最低限度:720px1280px129f 所需的最低 GPU 内存为 60GB,544px960px129f 所需的最低 GPU 内存为 45G。
    • 建议:我们建议使用具有 80GB 内存的 GPU 以获得更好的生成质量。
  • 测试的操作系统:Linux

🛠️ 依赖项和安装

首先通过下方的命令来克隆存储库:

git clone https://github.com/tencent/HunyuanVideo
cd HunyuanVideo

或者网盘打包下载【点击前往

Linux 安装指南

我们提供了一个environment.yml用于设置 Conda 环境的文件。Conda 的安装说明可在此处获得。

我们推荐 CUDA 版本 11.8 和 12.0+。

# 1. Prepare conda environment
conda env create -f environment.yml

# 2. Activate the environment
conda activate HunyuanVideo

# 3. Install pip dependencies
python -m pip install -r requirements.txt

# 4. Install flash attention v2 for acceleration (requires CUDA 11.8 or above)
python -m pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.5.9.post1

此外,HunyuanVideo还提供了预先构建的Docker镜像: docker_hunyuanvideo

# 1. Use the following link to download the docker image tar file (For CUDA 12).
wget https://aivideo.hunyuan.tencent.com/download/HunyuanVideo/hunyuan_video_cu12.tar

# 2. Import the docker tar file and show the image meta information (For CUDA 12).
docker load -i hunyuan_video.tar

docker image ls

# 3. Run the container based on the image
docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged  docker_image_tag

🧱 下载预训练模型

下载预训练模型的详细信息显示在此处,或者在HuggingFace上下载【点击前往】共26G左右。

🧱下载文本编码器

HunyuanVideo采用MLLM模型和CLIP模型作为文本编码器。

  1. MLLM 模型(text_encoder 文件夹)

HunyuanVideo 支持不同的 MLLM(包括 HunyuanMLLM 和开源 MLLM 模型),现阶段我们尚未发布 HunyuanMLLM,建议社区用户使用Xtuer提供的llava-llama-3-8b,可通过以下命令下载

cd HunyuanVideo/ckpts
huggingface-cli download xtuner/llava-llama-3-8b-v1_1-transformers --local-dir ./llava-llama-3-8b-v1_1-transformers

为了节省模型加载的GPU内存资源,我们将的语言模型部分分离llava-llama-3-8b-v1_1-transformerstext_encoder

cd HunyuanVideo
python hyvideo/utils/preprocess_text_encoder_tokenizer_utils.py --input_dir ckpts/llava-llama-3-8b-v1_1-transformers --output_dir ckpts/text_encoder
  1. CLIP 模型(text_encoder_2 文件夹)

我们使用OpenAI提供的CLIP作为另一个文本编码器,社区用户可以通过以下命令下载此模型

cd HunyuanVideo/ckpts
huggingface-cli download openai/clip-vit-large-patch14 --local-dir ./text_encoder_2

🔑 推理

我们在下表中列出了我们支持的高度/宽度/框架设置。

分辨率 时长=9:16 高/宽=16:9 高/宽=4:3 高/宽=3:4 高/宽=1:1
540p 544px960px129f 960px544px129f 624px832px129f 832px624px129f 720px720px129f
720p(推荐) 720px1280px129f 1280px720px129f 1104px832px129f 832px1104px129f 960px960px129f

使用命令行

cd HunyuanVideo

python3 sample_video.py \
    --video-size 720 1280 \
    --video-length 129 \
    --infer-steps 50 \
    --prompt "A cat walks on the grass, realistic style." \
    --flow-reverse \
    --use-cpu-offload \
    --save-path ./results

更多配置

我们列出了一些更有用的配置以便于使用:

参数 默认 描述
--prompt 没有任何 视频生成的文字提示
--video-size 720 1280 生成的视频的大小
--video-length 129 生成视频的长度
--infer-steps 50 采样步数
--embedded-cfg-scale 6.0 嵌入式分类器免费指导量表
--flow-shift 7.0 流匹配调度程序的移位因子
--flow-reverse 错误的 如果反向,从 t=1 -> t=0 学习/采样
--seed 没有任何 生成视频的随机种子,如果没有,我们初始化一个随机种子
--use-cpu-offload 错误的 使用 CPU 卸载来加载模型以节省更多内存,这对于高分辨率视频生成是必要的
--save-path 。/结果 生成视频的保存路径

免费体验入口

HunyuanVideo 在线使用:【点击前往

开源项目地址

本地安装教程:

THE END
喜欢就支持一下吧
点赞4322 分享
ChatGPT 推出变态杀手! 全球首款AI设备,Ai Pin 要革掉iPhone的命!| 零度解说-零度博客

ChatGPT 推出变态杀手! 全球首款AI设备,Ai Pin 要革掉iPhone的命!| 零度解说

https://youtu.be/CNG4qS0osbA ------------------------------------- 🔔 免费使用 ChatGPT-4 的 6 种方法:https://www.freedidi.com/9595.html 【最强AI源码】Meta LlaMA 2 大语言模型免费开...
admin的头像-零度博客admin
1.7W+1682
AnimateAnyone  只需一张图片,即可生成与角色一致且动作可控的生动视频-零度博客

AnimateAnyone 只需一张图片,即可生成与角色一致且动作可控的生动视频

Animate Anyone 只需一张角色图片,即可生成与角色一致且动作可控的生动视频。   https://www.youtube.com/watch?v=8PCn5hLKNu4       1、Github 开源项目 【点击前往 】 &...
admin的头像-零度博客admin
2.2W+3253
Stable Diffusion 模型推荐!轻松生成惊艳画作,‘老司机’ 快速驾驭AI绘画技巧!! |  零度解说-零度博客

Stable Diffusion 模型推荐!轻松生成惊艳画作,‘老司机’ 快速驾驭AI绘画技巧!! | 零度解说

https://youtu.be/py9EhTo2_mk🔔1、傣族-迷雾傣影SD主模型+Lora 模型下载:https://www.freedidi.com/13489.html 2、写实美女SD主模型下载(含提示词):https://www.freedidi.com/13482.html 3...
启用此设置以阻止 Chrome 占用如此多的内存-零度博客

启用此设置以阻止 Chrome 占用如此多的内存

Chrome 成为流行的浏览器是有原因的:它速度快、功能强大,并且与流行的应用程序、服务和扩展程序兼容。但是,所有这些功能都来自某个地方,最终会给您的RAM带来压力。Chrome 是一个内存大户。...
admin的头像-零度博客admin
1.7W+1091
PDF加盖骑缝章的工具,免费开源【PDFQFZ】-零度博客

PDF加盖骑缝章的工具,免费开源【PDFQFZ】

PDF加盖骑缝章的小工具 选择需要盖章的PDF文件或文件夹。 选择保存文件夹。 导入完整的印章图片,工具会根据PDF页数做随机分割。 设定印章大小,骑缝章位置,印章位置等 点盖章,骚等后在保存文件...
admin的头像-零度博客admin
2.1W+2177
真香!NVIDIA Chat with RTX,本地一键部署私密的AI聊天机器人! | 零度解说-零度博客

真香!NVIDIA Chat with RTX,本地一键部署私密的AI聊天机器人! | 零度解说

https://youtu.be/Hwn49QenXWg ------------------------------------- NVIDIA Chat with RTX 安装包下载:https://www.freedidi.com/11615.html
admin的头像-零度博客admin
1.3W+1527
推荐8个超有趣又实用的网站! 娱乐、办公必备!-零度博客

推荐8个超有趣又实用的网站! 娱乐、办公必备!

1.NASA 美国航天局 :https://www.nasa.gov 2.免费商用字体:https://www.100font.com 3.实用的导航站:https://hyydh.com 5.DeepL :https://www.deepl.com 6.图片AI放大:https://bigjpg.com ...
admin的头像-零度博客admin
1.3W+6539
全新 AI 视频生成工具 - 免费开源,本地部署,一键生成2分钟超长视频!剑指Sora? | 零度解说-零度博客

全新 AI 视频生成工具 – 免费开源,本地部署,一键生成2分钟超长视频!剑指Sora? | 零度解说

https://www.youtube.com/watch?v=mKYWIm4qWF0   ------------------------------------- 🔔 StreamingT2V模型下载安装:https://www.freedidi.com/12128.html
保护您的 Android 手机的 5 个最佳防火墙应用程序-零度博客

保护您的 Android 手机的 5 个最佳防火墙应用程序

Android 防火墙有助于监控和控制手机建立的互联网连接。这是适用于 Android 的最佳防火墙。   尽管由于 Play 商店的围墙花园,Android 通常是一个安全的操作系统,但您在浏览互联网或安装...