Stable Diffusion 3 震撼发布,采用Sora同源技术,生成图像、视频真假难辨!

 

图片[1]-Stable Diffusion 3 震撼发布,采用Sora同源技术,生成图像、视频真假难辨!-零度博客

==============

Stable Diffusion 3 申请地址:【点击前往

Stable Diffusion 3 模型套件目前的参数范围为 800M 到 8B。 这种方法旨在与我们的核心价值观保持一致,为用户提供多种可扩展性和质量选项,以最好地满足他们的创意需求。 Stable Diffusion 3 结合了扩散变压器架构和流量匹配。

和很多 AI 创业公司一样,Stability AI 面临的困境在于其以惊人的速度烧钱,但却没有明确的盈利途径。去年年底,该公司还传出了 CEO 可能被投资者赶下台的消息,公司本身可能也在寻求卖身。在这样的背景下,Stability AI 迫切地需要提振投资者信心。

公司首席执行官 Emad Mostaque 在 X 平台的帖子中提到,在得到反馈并进行改进后,他们会把该模型开源

图片[2]-Stable Diffusion 3 震撼发布,采用Sora同源技术,生成图像、视频真假难辨!-零度博客

Stable Diffusion 3 背后的技术

Diffusion Transformer+Flow Matching

在博客中,Stability AI 公布了打造 Stable Diffusion 3 的两项关键技术:Diffusion Transformer 和 Flow Matching。

Diffusion Transformer

Stable Diffusion 3 使用了类似于 OpenAI Sora 的 Diffusion Transformer 框架,而此前几代 Stable Diffusion 模型仅依赖于扩散架构。

Diffusion Transformer 是 Sora 研发负责人之一 Bill Peebles 与纽约大学助理教授谢赛宁最初在 2022 年底发布的研究,2023 年 3 月更新第二版。

论文探究了扩散模型中架构选择的意义,研究表明 U-Net 归纳偏置对扩散模型的性能不是至关重要的,并且可以很容易地用标准设计(如 Transformer)取代。

图片[3]-Stable Diffusion 3 震撼发布,采用Sora同源技术,生成图像、视频真假难辨!-零度博客

论文标题:Scalable Diffusion Models with Transformers

论文链接:https://arxiv.org/pdf/2212.09748.pdf

具体来说,论文提出了一种基于 Transformer 架构的新型扩散模型 DiT,并训练了潜在扩散模型,用对潜在 patch 进行操作的 Transformer 替换常用的 U-Net 主干网络。他们通过以 Gflops 衡量的前向传递复杂度来分析扩散 Transformer (DiT) 的可扩展性,各个型号的 DiT 都取得了不错的效果。

我们都知道,扩散模型的成功可以归功于它们的可扩展性、训练的稳定性和生成采样的多样性。在扩散模型的范围内,所使用的骨干架构存在很大差异,包括基于 CNN 的、基于 Transformer 的、CNN-Transformer 混合,甚至是状态空间模型。

用于扩展这些模型以支持高分辨率图像合成的方法也各不相同,现有方法或是增加了训练的复杂性,或是需要额外的模型,或是牺牲了质量。潜在扩散是实现高分辨率图像合成的主要方法,但在实践中无法表现精细细节,影响了采样质量,限制了其在图像编辑等应用中的实用性。其他高分辨率图像合成方法还有级联超分辨率、多尺度损失、增加多分辨率的输入和输出,或利用自调节和适应全新的架构方案。

基于 DiT 的启发,Stability AI 进一步提出了 Hourglass Diffusion Transformer (HDiT)。这是一种随像素数量扩展的图像生成模型,支持直接在像素空间进行高分辨率(如 1024 × 1024)训练。

这项工作通过改进骨干网络解决了高分辨率合成问题。Transformer 架构可以扩展到数十亿个参数,HDiT 在此基础上,弥补了卷积 U-Net 的效率和 Transformer 的可扩展性之间的差距,无需使用典型的高分辨率训练技术即可成功进行训练。

图片[4]-Stable Diffusion 3 震撼发布,采用Sora同源技术,生成图像、视频真假难辨!-零度博客

论文标题:Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers

论文链接:https://arxiv.org/pdf/2401.11605.pdf

研究者引入了一种「pure transformer」架构,获得了一种能够在标准扩散设置中生成百万像素级高质量图像的骨干结构。即使在 128 × 128 等低空间分辨率下,这种架构也比 DiT 等常见 Diffusion Transformer 骨干网络(图 2)的效率高得多,在生成质量上也具有竞争力。另一方面,与卷积 U-Nets 相比,HDiT 在像素空间高分辨率图像合成的计算复杂度方面同样具备竞争力。

图片[5]-Stable Diffusion 3 震撼发布,采用Sora同源技术,生成图像、视频真假难辨!-零度博客

Flow Matching

使用 Flow Matching 技术的意义则在于提升采样效率。

深度生成模型能够对未知数据分布进行估计和采样。然而,对简单扩散过程的限制导致采样概率路径的空间相当有限,从而导致训练时间很长,需要采用专门的方法进行高效采样。在这项工作中,研究者探讨了如何建立连续标准化流的通用确定性框架。

这项研究为基于连续归一化流(CNF)的生成建模引入了一种新范式,实现了以前所未有的规模训练 CNF。

图片[6]-Stable Diffusion 3 震撼发布,采用Sora同源技术,生成图像、视频真假难辨!-零度博客

论文标题:FLOW MATCHING FOR GENERATIVE MODELING

论文链接:https://arxiv.org/pdf/2210.02747.pdf

具体来说,论文提出了「Flow Matching」的概念,这是一种基于固定条件概率路径向量场回归训练 CNF 的免模拟方法。Flow Matching 与用于在噪声和数据样本之间进行转换的高斯概率路径的通用族兼容(通用族将现有的扩散路径归纳为具体实例)。

研究者发现,使用带有扩散路径的 Flow Matching 可以为扩散模型的训练提供更稳健、更稳定的替代方案。

此外,Flow Matching 还为使用其他非扩散概率路径训练 CNF 打开了大门。其中一个特别值得关注的例子是使用最优传输(OT)位移插值来定义条件概率路径。这些路径比扩散路径更有效,训练和采样速度更快,泛化效果更好。在 ImageNet 上使用 Flow Matching 对 CNF 进行训练,在似然性和采样质量方面的性能始终优于其他基于扩散的方法,并且可以使用现成的数值 ODE 求解器快速、可靠地生成采样。

图片[7]-Stable Diffusion 3 震撼发布,采用Sora同源技术,生成图像、视频真假难辨!-零度博客

THE END
喜欢就支持一下吧
点赞1527 分享
10个让人惊讶的网站! | 零度解说-零度博客

10个让人惊讶的网站! | 零度解说

https://youtu.be/B4HQNu4IU9A
admin的头像-零度博客admin
1.6W+1091
安全、高速的 DNS 服务器该如何选择?-零度博客

安全、高速的 DNS 服务器该如何选择?

  国外DNS选择: Google DNS 8.8.8.8 8.8.4.4 Cloudflare DNS 1.1.1.1 1.0.0.1   国内 DNS 114.114.114.114 114.114.115.115 223.5.5.5 223.6.6.6
移动,谷歌:三星也想重新发明电话?-零度博客

移动,谷歌:三星也想重新发明电话?

三星在即将推出的 One UI 5软件更新中借鉴了 Google Pixel剧本的一页 ,这将增加一种在 Galaxy 手机上接听电话的新方式。Bixby 文本通话功能将带来通过短信接听电话的能力,Bixby 助手在两...
admin的头像-零度博客admin
1.6W+2250
把 Windows 11 系统安装进内存,会发生什么?速度快到爆炸!但是..... | 零度解说-零度博客

把 Windows 11 系统安装进内存,会发生什么?速度快到爆炸!但是….. | 零度解说

https://youtu.be/to21-no6ceY Primo Ramdisk 下载:https://www.freedidi.com/11637.html https://www.freedidi.com/11637.html
admin的头像-零度博客admin
1.3W+1527
WordPress 曝新漏洞,超过200万个网站面临遭受网络攻击!-零度博客

WordPress 曝新漏洞,超过200万个网站面临遭受网络攻击!

在发现安全漏洞后,WordPress 紧急敦促高级自定义字段插件的用户更新至版本 6.1.6。 该问题的标识符为 CVE-2023-30777,与反映的跨站点脚本 (XSS) 案例有关,该案例可能被滥用以将任意可执行脚...
admin的头像-零度博客admin
1.2W+6539
Windows 11 24H2 正式发布,微软官方原版 ISO 下载方式在这里!-零度博客

Windows 11 24H2 正式发布,微软官方原版 ISO 下载方式在这里!

微软之前一直传闻会在本月发布 Windows 11 24H2,尽管有消息称发布日期可能是 10 月 8 日,但微软显然不想让大家猜中,今天便正式发布了该版本。24H2 带来了许多新改进,不过与 Copilot+ PC 相...
admin的头像-零度博客admin
7.6W+4485
Windows 11 正在获得新的触摸手势、开始菜单文件夹等等-零度博客

Windows 11 正在获得新的触摸手势、开始菜单文件夹等等

微软还将拖放功能带回任务栏 微软为 Windows 11 带来了新的触摸手势、开始菜单文件夹、重新设计的任务管理器以及更多改进。今天,测试人员可以使用新版本的 Windows 11 ,它充满了新功能,看起...
admin的头像-零度博客admin
1.5W+2251
非常值得推荐的3款实用性软件!支持多开,沙盒安全检测等-零度博客

非常值得推荐的3款实用性软件!支持多开,沙盒安全检测等

  1.Sandboxie 沙盒工具: 【点击下载】   Sandboxie是一款基于沙盒的隔离软件,适用于基于 Windows NT 的 32 位和 64 位操作系统。自开源以来,它一直由 David Xanatos 开发,在此之...
admin的头像-零度博客admin
1.7W+2251
免费搭建KMS服务器!永久激活 Windows系统 和 office软件!-零度博客