最新超长AI视频模型!一句话即可生成120秒视频,免费开源!

图片[1]-最新超长AI视频模型!一句话即可生成120秒视频,免费开源!-零度博客

近日,由Picsart AI Research团队联合发布的StreamingT2V模型可生成长达2分钟(1200帧)的高质量视频,超越了之前的Sora模型。这一开源模型不仅可以生成更长时长的视频,还能与SVD、animatediff等其他模型无缝兼容,为开源视频生成领域带来新的突破。

亮点总结:

  1. 生成时长达2分钟(1200帧),超越以往模型
  2. 视频质量优秀
  3. 与业内其他主流模型实现无缝衔接
  4. 开源免费,便于开发者使用和二次开发

图片[2]-最新超长AI视频模型!一句话即可生成120秒视频,免费开源!-零度博客

 

免费在线试玩:【点击进入】 目测在线人太多需要排队

自己本地搭建教程:

1.安装并安装 Python 3.10 and CUDA >= 11.6 环境 【Python 3.10 】、【Cuda 下载

2.克隆开源项目至本地:

git clone https://github.com/Picsart-AI-Research/StreamingT2V.git
cd StreamingT2V/

StreamingT2V 最新版打包下载:网盘下载

3.安装必备的环境:

conda create -n st2v python=3.10
conda activate st2v
pip install -r requirements.txt

4.(可选)如果您的系统上缺少 FFmpeg,请安装 FFmpeg

 

conda install conda-forge::ffmpeg

5. 从HF 下载模型权重并将它放在 t2v_enhanced/checkpoints目录下

 

6.文本转视频

cd t2v_enhanced
python inference.py --prompt="A cat running on the street"

如要使用其他基本模型,请添加--base_model=AnimateDiff参数。用于python inference.py --help更多选项

7.图片转视频

cd t2v_enhanced
python inference.py --image=../__assets__/demo/fish.jpg --base_model=SVD

推理时间

 

ModelscopeT2V作为基础模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 40秒 165秒
56帧 75秒 360秒
80帧 110秒 525秒
240帧 340秒 1610 秒(约 27 分钟)
600帧 860秒 5128 秒(约 85 分钟)
1200帧 1710 秒(约 28 分钟) 10225 秒(约 170 分钟)
AnimateDiff作为基础模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 50秒 180秒
56帧 85秒 370秒
80帧 120秒 535秒
240帧 350秒 1620 秒(约 27 分钟)
600帧 870秒 5138 秒(~85 分钟)
1200帧 1720 秒(约 28 分钟) 10235 秒(约 170 分钟)
SVD作为基本模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 80秒 210秒
56帧 115秒 400秒
80帧 150秒 565秒
240帧 380秒 1650 秒(约 27 分钟)
600帧 900秒 5168 秒(~86 分钟)
1200帧 1750 秒(约 29 分钟) 10265 秒(~171 分钟)

所有测量均使用 NVIDIA A100 (80 GB) GPU 进行。当帧数超过 80 时,采用随机混合。对于随机混合,chunk_size和 的值overlap_size分别设置为 112 和 32。

更多的文生视频在线使用:【点击前往】 支持多模型自由切换!

THE END
喜欢就支持一下吧
点赞2177 分享
谷歌 Chrome浏览器中英文下载站!(离线安装包)!-零度博客

谷歌 Chrome浏览器中英文下载站!(离线安装包)!

  Chrome 浏览器官方下载 英文下载站【点击前往】或【下载离线安装包】 中文下载站【点击前往】或【下载离线安装包】 繁体下载站【点击前往】或【下载离线安装包】 推荐下载: 【离线安装...
admin的头像-零度博客admin
2.1W+2177
绕过 TPM 2.0 等硬件要求,不满足硬件要求照样升级 Windows 11!-零度博客

绕过 TPM 2.0 等硬件要求,不满足硬件要求照样升级 Windows 11!

这个新安装脚本允许用户在不兼容的硬件上安装 Windows 11,该脚本可以绕过 TPM 和系统硬件检查。 具体而言,新脚本是作为 Windows ISO 镜像开源创建工具 Universal MediaCreationTool(https://...
ChatGPT 桌面版正式发布!免费实用,支持多应用协作,让 AI 接管你的电脑 !!附最新下载、安装使用教程 | 零度解说-零度博客

ChatGPT 桌面版正式发布!免费实用,支持多应用协作,让 AI 接管你的电脑 !!附最新下载、安装使用教程 | 零度解说

https://www.youtube.com/watch?v=AL-CrrODIFE   ChatGPT 桌面版正式版下载【及注意事项】:https://www.freedidi.com/17063.html
以图搜“片子”的经典方法,建议收藏!-零度博客

以图搜“片子”的经典方法,建议收藏!

1.Google 自带的深度搜索功能,参见【视频】 2.Search-by-image 浏览器插件:【点击下载】 3.冷门资源搜索:【XSList】 4.零度社区:【经验交流】
admin的头像-零度博客admin
2.7W+1534
如何检测安卓应用是否安全?是否存在后门!这两个网站帮你轻松搞定!| 零度解说-零度博客
自定义网页窗口大小,Window Resizer 插件-零度博客

自定义网页窗口大小,Window Resizer 插件

调整浏览器窗口的大小以模拟各种屏幕分辨率。 该扩展程序会重新调整浏览器窗口的大小以模拟各种分辨率。 它对于网页设计师和开发人员特别有用,可以帮助他们在不同的浏览器分辨率上测试布局。分...
admin的头像-零度博客admin
1.3W+1527
新一代 Windows :微软 Win11 操作系统发布会直播-零度博客

新一代 Windows :微软 Win11 操作系统发布会直播

    Windows 11 最新安装教程,永久免费激活!( 附ISO镜像下载 )      
GPT-4o 正式免费开放!开启越狱模式,意想不到的事情发生了!! | 零度解说-零度博客

GPT-4o 正式免费开放!开启越狱模式,意想不到的事情发生了!! | 零度解说

https://www.youtube.com/watch?v=VtfOskvAeE0   ------------------------------------- 🔔 GPT-4o 开启越狱模式提示词:https://www.freedidi.com/12635.html
admin的头像-零度博客admin
2.2W+2176
Google 用带有怀旧徽标的涂鸦庆祝其 25 岁生日-零度博客

Google 用带有怀旧徽标的涂鸦庆祝其 25 岁生日

  作为全球最受欢迎的搜索引擎和科技巨头 Google 今天庆祝其 25 岁生日。为了纪念这一时刻,谷歌发布了一幅怀旧涂鸦,展示了过去 25 年来其徽标的演变。 该涂鸦包含一个动画 GIF,将徽标从...
admin的头像-零度博客admin
1.7W+1682