OmniHuman-1 多模态 “真人”视频生成项目! 效果真不错

OmniHuman 支持多种视觉和音频风格,可生成任意长宽比和身体比例(人像、半身、全身合一)的逼真人体视频,真实感源自动作、光照、纹理细节等综合方面。

c05a8b350120250306195529

官方项目链接:https://omnihuman-lab.github.io

图片[2]-OmniHuman-1 多模态 “真人”视频生成项目! 效果真不错-零度博客

歌唱

OmniHuman 可以支持各种音乐风格,并适应多种身体姿势和歌唱形式。它可以处理高音调的歌曲,并针对不同类型的音乐显示不同的动作风格。请记住选择最高的视频质量。生成的视频质量也高度依赖于参考图像的质量。

与视频驾驶的兼容性

由于OmniHuman的混合条件训练特性,它不仅可以支持音频驾驶,还可以支持视频驾驶来模仿特定的视频动作,以及像最近的方法一样结合音频和视频驾驶来控制特定的身体部位。

道德问题

这些演示中使用的图像和音频来自公开来源或由模型生成,仅用于展示本研究工作的能力。如有任何问题,请联系我们(jianwen.alan@gmail.com),我们将及时删除。本网页模板基于VASA-1的模板,部分测试音频来自VASA-1LoopyCyber​​Host

BibTeX

如果您发现这个项目对您的研究有用,您可以引用我们并查看我们的其他相关作品:


          @article{lin2025omnihuman1,
            title={OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models}, 
            author={Gaojie Lin and Jianwen Jiang and Jiaqi Yang and Zerong Zheng and Chao Liang},
            journal={arXiv preprint arXiv:2502.01061},
            year={2025}
          }
          
          @article{jiang2024loopy,
            title={Loopy: Taming Audio-Driven Portrait Avatar with Long-Term Motion Dependency},
            author={Jiang, Jianwen and Liang, Chao and Yang, Jiaqi and Lin, Gaojie and Zhong, Tianyun and Zheng, Yanbo},
            journal={arXiv preprint arXiv:2409.02634},
            year={2024}
          }

          @article{lin2024cyberhost,
            title={CyberHost: Taming Audio-driven Avatar Diffusion Model with Region Codebook Attention},
            author={Lin, Gaojie and Jiang, Jianwen and Liang, Chao and Zhong, Tianyun and Yang, Jiaqi and Zheng, Yanbo},
            journal={arXiv preprint arXiv:2409.01876},
            year={2024}
          }
        
THE END
喜欢就支持一下吧
点赞2672 分享
相关推荐
这9个网站太好笑了!无聊的时候可以玩一玩-零度博客

这9个网站太好笑了!无聊的时候可以玩一玩

1. 搞笑的图片合成:http://www.pichacks.com 2.人声模拟器:https://dood.al/pinktrombone 3.回归大自然:https://rainyscope.com 4.AutoDraw:https://www.autodraw.com 5.从未出现过的人:ht...
admin的头像-零度博客admin
1.7W+2250
赶紧下载!8款“限时免费”的软件,得到即赚到!!帮你省下好几百刀... | 零度解说-零度博客

赶紧下载!8款“限时免费”的软件,得到即赚到!!帮你省下好几百刀… | 零度解说

https://youtu.be/HtfEiX9ACjs =================== 限时免费软件获取:https://www.freedidi.com/10913.html
admin的头像-零度博客admin
1.7W+1683
爆高危漏洞! Chrome、Edge 浏览器紧急发布:已证明被黑客利用的零日漏洞修复 | 零度解说-零度博客
一个自建平台即可搞定:ChatGPT、Claude、Google Gemini、Mistral、LLaMA2等主流AI大模型的无缝切换使用!-零度博客

一个自建平台即可搞定:ChatGPT、Claude、Google Gemini、Mistral、LLaMA2等主流AI大模型的无缝切换使用!

  一款免费开源的项目即可搞定:ChatGPT、Claude、Google Gemini、Mistral、LLaMA2等主流AI大模型的无缝切换使用! Lobe UI 是一个开源 UI 组件库,用于构建 AIGC Web 应用程序。   &...
admin的头像-零度博客admin
2.6W+2177
Glassbrick 屏幕局部放大、缩小神器!免费又好用-零度博客

Glassbrick 屏幕局部放大、缩小神器!免费又好用

放大屏幕  •  通过放大屏幕、模拟鼠标指针移动或更改默认颜色模式来增强计算机的可访问性如果您的工作经常围绕电脑屏幕进行,您可能会考虑调整某些工作区组件以增强整体可访问性、或者重点...
admin的头像-零度博客admin
2.4W+2871
精品网站推荐!这7个都不常见!但确实好玩、神奇又实用!!2023 | 零度解说-零度博客
MagnetW-最强BT种子搜索神器!-零度博客

MagnetW-最强BT种子搜索神器!

  (注意:非海外用户要特殊设置才可使用!点击设置-启用代理-IP和端口就填写和你VPN一致的ip和端口,否则无法连接) MagnetW官网:https://github.com/xiandanin/magnetW 下载地址:https...
admin的头像-零度博客admin
1.7W+2251
核电挖矿! 美国向中国比特币矿主敞开了大门,提供廉价的核电支持挖矿,你准备好了吗?| 零度解说-零度博客
FFmpeg 安装教程!超详细,手把手详解整个设置过程-零度博客

FFmpeg 安装教程!超详细,手把手详解整个设置过程

一、下载官方的FFmpeg 访问 FFmpeg的官网链接:https://ffmpeg.org ,然后点击右侧的下载按钮。 然后找到适合自己系统的版本,比如我选择 Windows 版,如下所示 接着点击下方的第一个链接: 进...
admin的头像-零度博客admin
2.8W+2184