最新超长AI视频模型!一句话即可生成120秒视频,免费开源!

图片[1]-最新超长AI视频模型!一句话即可生成120秒视频,免费开源!-零度博客

近日,由Picsart AI Research团队联合发布的StreamingT2V模型可生成长达2分钟(1200帧)的高质量视频,超越了之前的Sora模型。这一开源模型不仅可以生成更长时长的视频,还能与SVD、animatediff等其他模型无缝兼容,为开源视频生成领域带来新的突破。

亮点总结:

  1. 生成时长达2分钟(1200帧),超越以往模型
  2. 视频质量优秀
  3. 与业内其他主流模型实现无缝衔接
  4. 开源免费,便于开发者使用和二次开发

图片[2]-最新超长AI视频模型!一句话即可生成120秒视频,免费开源!-零度博客

 

免费在线试玩:【点击进入】 目测在线人太多需要排队

自己本地搭建教程:

1.安装并安装 Python 3.10 and CUDA >= 11.6 环境 【Python 3.10 】、【Cuda 下载

2.克隆开源项目至本地:

git clone https://github.com/Picsart-AI-Research/StreamingT2V.git
cd StreamingT2V/

StreamingT2V 最新版打包下载:网盘下载

3.安装必备的环境:

conda create -n st2v python=3.10
conda activate st2v
pip install -r requirements.txt

4.(可选)如果您的系统上缺少 FFmpeg,请安装 FFmpeg

 

conda install conda-forge::ffmpeg

5. 从HF 下载模型权重并将它放在 t2v_enhanced/checkpoints目录下

 

6.文本转视频

cd t2v_enhanced
python inference.py --prompt="A cat running on the street"

如要使用其他基本模型,请添加--base_model=AnimateDiff参数。用于python inference.py --help更多选项

7.图片转视频

cd t2v_enhanced
python inference.py --image=../__assets__/demo/fish.jpg --base_model=SVD

推理时间

 

ModelscopeT2V作为基础模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 40秒 165秒
56帧 75秒 360秒
80帧 110秒 525秒
240帧 340秒 1610 秒(约 27 分钟)
600帧 860秒 5128 秒(约 85 分钟)
1200帧 1710 秒(约 28 分钟) 10225 秒(约 170 分钟)
AnimateDiff作为基础模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 50秒 180秒
56帧 85秒 370秒
80帧 120秒 535秒
240帧 350秒 1620 秒(约 27 分钟)
600帧 870秒 5138 秒(~85 分钟)
1200帧 1720 秒(约 28 分钟) 10235 秒(约 170 分钟)
SVD作为基本模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 80秒 210秒
56帧 115秒 400秒
80帧 150秒 565秒
240帧 380秒 1650 秒(约 27 分钟)
600帧 900秒 5168 秒(~86 分钟)
1200帧 1750 秒(约 29 分钟) 10265 秒(~171 分钟)

所有测量均使用 NVIDIA A100 (80 GB) GPU 进行。当帧数超过 80 时,采用随机混合。对于随机混合,chunk_size和 的值overlap_size分别设置为 112 和 32。

更多的文生视频在线使用:【点击前往】 支持多模型自由切换!

© 版权声明
THE END
喜欢就支持一下吧
点赞2176 分享
ComfyUI V1 本地客户端即将发布,支持Win、Mac 和Linux 平台!-零度博客

ComfyUI V1 本地客户端即将发布,支持Win、Mac 和Linux 平台!

ComfyUI 官方上大货了!桌面版 V1 首发版来了!!!一键安装(本地桌面版) - 适用于 Windows/macOS/Linux,支持自动更新 自动安装 Python 依赖环境 - 默认安装 ComfyUI 管理器 - 即将开源,申...
admin的头像-零度博客admin
1.6W+2409
Claude 正式推出桌面客户端! 支持Windows 10/11 和 Mac-零度博客

Claude 正式推出桌面客户端! 支持Windows 10/11 和 Mac

由人工智能技术开发商 Anthropic 推出的 Claude 应用现已在电脑桌面、移动端提供客户端支持,官方声称:速度更快,更专业便捷!Claude 桌面客户端兼容 Windows 10/11 和 Mac 设备,整体体验与网...
admin的头像-零度博客admin
96143464
OpenAI正式推出自己的搜索引擎 基于AI技术的ChatGPT Search-零度博客

OpenAI正式推出自己的搜索引擎 基于AI技术的ChatGPT Search

此前已经有传闻称 OpenAI 正在开发自己的搜索引擎,这种基于人工智能的搜索引擎要比传统搜索引擎例如谷歌提供更好的体验,后来 OpenAI 也证实了这种传言,因为推出 SearchGPT waitlist。现在 Ch...
admin的头像-零度博客admin
78813504
5款神器推荐!效率党必备的免费工具,切勿错过!! | 零度解说-零度博客

5款神器推荐!效率党必备的免费工具,切勿错过!! | 零度解说

https://youtu.be/T6xzRlXlKEE 1、最好用的代办事项管理工具:https://www.freedidi.com/16816.html2、Photoshop 的最佳免费替代品:https://www.freedidi.com/16828.html3、最好用的记笔记软...
WordPress Studio 史上最简单的本地建站工具!-零度博客

WordPress Studio 史上最简单的本地建站工具!

WordPress Studio 是 WordPress 推出的一款适用于 Windows 和 macOS 的本地网站创建工具。用户只需点击两次鼠标即可生成一个网站,无需配置服务器环境或数据库,开箱即用,并配备标准的 WordPre...
admin的头像-零度博客admin
1.2W+4418
LittleBigMouse 一款跨屏多屏幕操作鼠标的开源软件-零度博客

LittleBigMouse 一款跨屏多屏幕操作鼠标的开源软件

Little Big Mouse 是一款专为 Windows 10 和 11 设计的开源工具,能够智能地调整多显示器间的 DPI 和物理尺寸差异,使鼠标在跨屏移动时保持精准对齐和流畅过渡,为用户提供更加自然的多屏操作体...
admin的头像-零度博客admin
1.2W+2564
Notion 一款非常优秀的记笔记软件,值得推荐!-零度博客

Notion 一款非常优秀的记笔记软件,值得推荐!

Notion是一款集成了笔记、知识库、数据表格、看板、日历等多种能力于一体的应用程序,它既可供个人使用,也可以与他人进行跨平台协作。之前这款软件迟迟不推出中文版,无论是中文简体、繁体都没...
admin的头像-零度博客admin
1.7W+2702
Photopea 基于Web打造的照片和图形编辑器!是Photoshop的最佳替代工具-零度博客

Photopea 基于Web打造的照片和图形编辑器!是Photoshop的最佳替代工具

Photopea 是一款基于Web打造的照片和图形编辑器。完全免费,兼容性极佳,可用于图像编辑,制作插图,网页设计或在不同图像格式之间进行转换。并且与所有现代Web浏览器兼容,包括Opera,Edge,Ch...
admin的头像-零度博客admin
1.3W+4811
Microsoft to do 最好用的【代办事项】管理工具!  微软出品,完全免费-零度博客

Microsoft to do 最好用的【代办事项】管理工具! 微软出品,完全免费

如果要零度推荐一款,最好用,效率最高的代办事项管理工具,那么微软出品的 Microsoft to do 无疑是最佳选择!不仅完全免费,而且兼容性极好,又轻量级,支持跨平台使用,无论是在Windows、Mac...
admin的头像-零度博客admin
87664540