OmniHuman-1 多模态 “真人”视频生成项目! 效果真不错

OmniHuman 支持多种视觉和音频风格,可生成任意长宽比和身体比例(人像、半身、全身合一)的逼真人体视频,真实感源自动作、光照、纹理细节等综合方面。

c05a8b350120250306195529

官方项目链接:https://omnihuman-lab.github.io

图片[2]-OmniHuman-1 多模态 “真人”视频生成项目! 效果真不错-零度博客

歌唱

OmniHuman 可以支持各种音乐风格,并适应多种身体姿势和歌唱形式。它可以处理高音调的歌曲,并针对不同类型的音乐显示不同的动作风格。请记住选择最高的视频质量。生成的视频质量也高度依赖于参考图像的质量。

与视频驾驶的兼容性

由于OmniHuman的混合条件训练特性,它不仅可以支持音频驾驶,还可以支持视频驾驶来模仿特定的视频动作,以及像最近的方法一样结合音频和视频驾驶来控制特定的身体部位。

道德问题

这些演示中使用的图像和音频来自公开来源或由模型生成,仅用于展示本研究工作的能力。如有任何问题,请联系我们(jianwen.alan@gmail.com),我们将及时删除。本网页模板基于VASA-1的模板,部分测试音频来自VASA-1LoopyCyber​​Host

BibTeX

如果您发现这个项目对您的研究有用,您可以引用我们并查看我们的其他相关作品:


          @article{lin2025omnihuman1,
            title={OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models}, 
            author={Gaojie Lin and Jianwen Jiang and Jiaqi Yang and Zerong Zheng and Chao Liang},
            journal={arXiv preprint arXiv:2502.01061},
            year={2025}
          }
          
          @article{jiang2024loopy,
            title={Loopy: Taming Audio-Driven Portrait Avatar with Long-Term Motion Dependency},
            author={Jiang, Jianwen and Liang, Chao and Yang, Jiaqi and Lin, Gaojie and Zhong, Tianyun and Zheng, Yanbo},
            journal={arXiv preprint arXiv:2409.02634},
            year={2024}
          }

          @article{lin2024cyberhost,
            title={CyberHost: Taming Audio-driven Avatar Diffusion Model with Region Codebook Attention},
            author={Lin, Gaojie and Jiang, Jianwen and Liang, Chao and Zhong, Tianyun and Yang, Jiaqi and Zheng, Yanbo},
            journal={arXiv preprint arXiv:2409.01876},
            year={2024}
          }
        
THE END
喜欢就支持一下吧
点赞2672 分享
相关推荐
新电脑到手后要做的7件重要事情,一件也不能漏!| 零度解说-零度博客

新电脑到手后要做的7件重要事情,一件也不能漏!| 零度解说

新电脑到手后你一定要记得做的7件重要事情... https://youtu.be/gXR93R1GNzk
admin的头像-零度博客admin
1.6W+2250
华硕推出 PN64 / PN52 迷你主机:搭载 12 代酷睿、锐龙 5000H 处理器-零度博客

华硕推出 PN64 / PN52 迷你主机:搭载 12 代酷睿、锐龙 5000H 处理器

1 月 8 日消息,根据 notebookcheck 消息,华硕于 CES 2022 推出 PN64 / PN52 两款迷你主机,分别搭载英特尔、AMD 处理器。该系列迷你主机采用深灰色拉丝外壳,侧边具有镂空出风口,提供丰富的...
admin的头像-零度博客admin
1.5W+2251
Windows 11 全新任務管理器曝光! 10 年首次大變,採用 Fluent Design(附開啟教程)| 零度解說-零度博客
选择优质CF的反代IP!大大提升你的上网速度-零度博客

选择优质CF的反代IP!大大提升你的上网速度

1.获取优质的反代了CloudFlare的ip,可以让你拥有Pro版的待遇,专线速度! 【点击获取】   2.下载CF反代ip的优选工具,开源于Github 【点击下载】   3.注册一个免费的域名,如果你自...
admin的头像-零度博客admin
1.7W+6540
这7个网站,绝对值得你收藏!2022 | 零度解说-零度博客
微软必应联手STOPNIC:允许用户屏蔽色情及AI换脸色情内容-零度博客

微软必应联手STOPNIC:允许用户屏蔽色情及AI换脸色情内容

近期,关于深度伪造色情内容的报道频繁出现。深度伪造技术能够轻松生成个人的露骨图片,例如将某人的面部特征拼接到现有的色情图片上。 今天,微软必应宣布与STOPNIC合作。STOPNIC是一个致力于...
admin的头像-零度博客admin
2.1W+3251
50年后,重新制作的图像以惊人的清晰度揭示了阿波罗 17 号-零度博客

50年后,重新制作的图像以惊人的清晰度揭示了阿波罗 17 号

“向我过来,宝贝!它好像在动……别从我身上碾过!” 午夜过后不久,也就是 50 年前的今天早上,阿波罗 17 号任务从佛罗里达起飞。吉恩·塞尔南、哈里森·施密特和罗恩·埃文斯在船上,这是美...
admin的头像-零度博客admin
1.7W+1091
谷歌浏览器的十大安全设置,提高Chrome隐私和安全性!-零度博客
WSA 和 Google Play的安装包下载-零度博客

WSA 和 Google Play的安装包下载

 1、WSA 和 Google Play的安装包:【点击下载】2、备用下载方式:【点击前往】  安装教程:https://youtu.be/KOwv4PZ-UCQ
admin的头像-零度博客admin
2.1W+2254