GPT-4o震撼夜间发布!AI实时视频通话如真人般流畅,Plus功能限时免费!

OpenAI 最新旗舰大模型 GPT-4o,不仅免费使用,功能更是全面覆盖听觉、视觉和语音,体验丝滑流畅毫无延迟,仿佛在进行一次视频通话。

图片[1]-GPT-4o震撼夜间发布!AI实时视频通话如真人般流畅,Plus功能限时免费!-零度博客

直播效果更是惊艳:

它能感知你的呼吸节奏,并用更加丰富的语气实时回应,甚至可以在适当时打断对话。

GPT-4o 中的 “o” 代表 Omni,即 “全能”,能够接受文本、音频和图像的任意组合输入,并生成相应的输出。

响应速度快至 232 毫秒,平均 320 毫秒,与人类对话反应速度一致。

图片[2]-GPT-4o震撼夜间发布!AI实时视频通话如真人般流畅,Plus功能限时免费!-零度博客

这是一次馈赠所有人的大礼,GPTo 与 ChatGPT Plus 会员版的所有功能,包括视觉、联网、记忆、执行代码、GPT Store 等,都将免费开放!

(新语音模式将在几周内优先向 Plus 用户开放)

在直播现场,CTO Murati 谦虚地表示:这是将 GPT-4 级别的模型开放给大家。

研究员 William Fedus 揭秘,GPT-4o 是之前在大模型竞技场进行 A/B 测试的模型之一,名为 im-also-a-good-gpt2-chatbot。

无论是用户体验还是竞技场排名,GPT-4o 都超过了 GPT-4-Turbo 级别模型,ELO 分数遥遥领先。

 

这样的超强模型还将提供 API 服务,价格减半,速度提高一倍,单位时间调用次数是原来的五倍!

 

观看直播的网友已经在畅想其应用前景,认为它可以帮助盲人“看见”世界,并且确实比之前的语音模式体验更佳。

 

考虑到许多人已经在 ChatGPT 语音模式中找到“恋爱”感觉,大家可以在评论区分享你的大胆想法。

图片[3]-GPT-4o震撼夜间发布!AI实时视频通话如真人般流畅,Plus功能限时免费!-零度博客

总裁 Brockman 在线演示

OpenAI 发布会选在谷歌 I/O 前一天,意在“打脸”。谷歌 Gemini 的发布会需要通过剪辑和提示词切换来实现的实时对话效果,OpenAI 则全程直播演示。

例如,让 ChatGPT 在不同语言间充当翻译器,实时将英语翻译成意大利语,反之亦然。

 

发布会直播之外,总裁 Brockman 还进行了额外的 5 分钟详细演示。

演示中两个 ChatGPT 互相对话,甚至唱起了对话内容,戏剧感满满。

这两个 ChatGPT,一个是旧版 APP,只能对话,另一个是新版网页,具备视觉等新功能。(分别简称为小 O 和小 N)

图片[4]-GPT-4o震撼夜间发布!AI实时视频通话如真人般流畅,Plus功能限时免费!-零度博客

Brockman 先向小 O 介绍情况,告知她将与一个拥有视觉能力的 AI 对话,她欣然接受。

然后,Brockman 向小 N 介绍情况,并展示了小 N 的视觉能力。

小 N 准确描述了 Brockman 的衣着和房间环境,并对与小 O 对话表示兴趣。

 

 

接下来是小 O 和小 N 的对话时间。她们从 Brockman 的衣着开始聊起,小 O 提出问题,小 N 一一解答。

然后,她们谈论了房间的风格、布置和光线,甚至小 N 还意识到 Brockman 正在上帝视角观看她们。

 

 

视频中有一名女性在 Brockman 身后做了些恶搞的手势,这是 Brockman 与她串通好,专门给小 N 设置的“考题”。

当 Brockman 问有无发现异常,小 N 直接识破并描述了女性的动作,小 O 听后感叹原来享受乐趣的不止她们两人。

Brockman 将这视为夸赞,并加入了对话。

最后的部分最为精彩,小 O 和小 N 在 Brockman 的指挥下对唱起来。几轮之后,衔接紧密,旋律悠扬,音色如真人。

图片[5]-GPT-4o震撼夜间发布!AI实时视频通话如真人般流畅,Plus功能限时免费!-零度博客

 

视频以 Brockman 唱出的 Thank you 结束,他在推文中透露新语音对话功能将在数周内向 Plus 用户开放。

 

端到端训练,一个神经网络搞定语音、文本和图像

正如奥特曼在发布会前所说,GPT-4o 让人感觉像魔法一样,那么它是如何做到的呢?

这次没有论文,也没有技术报告,只在官网博客有一段简短说明。

在 GPT-4o 之前,ChatGPT 语音模式由三个独立模型组成:语音转文本→GPT3.5/GPT-4→文本转语音。

整个系统的延迟为 2.8 秒(GPT-3.5)和 5.4 秒(GPT-4),丢失了大量信息,无法直接感受音调、多个说话者或背景噪音,也无法输出笑声、唱歌声,或表达情感。

GPT-4o 是跨文本、视觉和音频端到端训练的新模型,所有输入和输出都由同一个神经网络处理。

在语音翻译任务上,强于 OpenAI 的语音模型 Whisper-V3,以及谷歌和 Meta 的语音模型。

图片[6]-GPT-4o震撼夜间发布!AI实时视频通话如真人般流畅,Plus功能限时免费!-零度博客

在视觉理解上,也反超了 Gemini 1.0 Ultra 与对手 Claude Opus。

虽然技术细节透露不多,但有学者评价,一个成功的演示胜过千篇论文。

 

One More Thing

除了 OpenAI 的精彩内容,不要忘记北京时间 5 月 15 日凌晨,谷歌将召开 I/O 大会。

零度解说将继续第一时间带来最新消息。

有网友推测,GPT-4o 如此强大,还免费开放,是劝大家不续订 ChatGPT Plus 吗?

当然不是~

鉴于 OpenAI 春节期间在谷歌发布 Gemini 1.5 Pro 后半小时用 Sora 狙击,明天 OpenAI 或许还有新动作?

直播回放

https://www.youtube.com/watch?v=DQacCB9tDaw

参考链接:

[1] https://openai.com/index/hello-gpt-4o/

THE END
喜欢就支持一下吧
点赞1527 分享
相关推荐
文字转语音、语音转文字! 这几种方法你最好要知道-零度博客

文字转语音、语音转文字! 这几种方法你最好要知道

1.Whisper :开源项目 【官方下载】或 【备用下载】2.ggml-medium 语音模型: 【点击下载】3.CPU版的Whisper:【开源项目】或 【备用下载】
admin的头像-零度博客admin
5.6W+1706
Windows 11 必装的五款神器!完全免费开源,你一定不能错过 | 零度解说-零度博客

Windows 11 必装的五款神器!完全免费开源,你一定不能错过 | 零度解说

https://youtu.be/qdGDpsoCBN8   1、UniGetUI 批量管理软件:https://www.freedidi.com/13166.html 2、深度精简 Windows 11 :https://youtu.be/qdGDpsoCBN8?si=R6xznG7WLQv3kcMI&t=20...
电脑 调用手机摄像头:完全免费!无需安装,支持安卓、iOS、ipad ,把手机当作网络摄像头! | 零度解说-零度博客
谷歌新推出的 .Zip 和 .Mov 域名面临着重大安全隐患!-零度博客

谷歌新推出的 .Zip 和 .Mov 域名面临着重大安全隐患!

  一开始5 月,Google 发布了八个新的顶级域 (TLD)——URL 末尾的后缀,例如“.com”或“.uk”。这些小附录是几十年前开发的,用于扩展和组织 URL,多年来,非营利性互联网名称与数字地址...
admin的头像-零度博客admin
1.2W+6539
Google文档、表格及幻灯片的Office 编辑扩展程序-零度博客

Google文档、表格及幻灯片的Office 编辑扩展程序

可以在 chrome 中查看和编辑Microsoft Word、Excel和PowerPoint文件 - 无需在您的计算机上安装Office,屌得一匹。 使用Google文档、表格和幻灯片来查看和编辑Microsoft Word、Excel和PowerPoint...
admin的头像-零度博客admin
2.1W+3252
如何在 LinkedIn 上免费发布工作-零度博客

如何在 LinkedIn 上免费发布工作

LinkedIn 是招聘潜在候选人的最佳专业网络之一。以下是如何在 LinkedIn 上免费发布工作。 LinkedIn 是最受欢迎的专业网络和求职场所之一。您几乎可以找到任何类型的工作,无论是兼职、全职、远...
admin的头像-零度博客admin
1.6W+2252
小红伞杀毒软件专业版,史上最大优惠:97% 的折扣-零度博客

小红伞杀毒软件专业版,史上最大优惠:97% 的折扣

1.小红伞专业版97%的优惠链接:【点击获取】-【优惠活动已经结束!】 优惠有效期至 2021 年 12 月 31 日。折扣有效期为第一年 2.购买后,可以在PayPal里取消自动续费,这样1年以后不会被续费 取...
admin的头像-零度博客admin
1.6W+2251
免费学习新技能的十大最佳网站!-零度博客

免费学习新技能的十大最佳网站!

https://youtu.be/7CiEzDz7u8k Alison https://alison.com/ 未来学习 https://www.futurelearn.com/ edX https://www.edx.org/ 卡登泽 https://www.kadenze.com/ 斯坦福在线 https://online.sta...
admin的头像-零度博客admin
1.1W+652
Stability AI 偷偷发布黑科技,秒杀Suno AI 的音乐生成!-零度博客

Stability AI 偷偷发布黑科技,秒杀Suno AI 的音乐生成!

AI 圈又有大新闻啦!Stability AI 又悄悄放出一个大招,这次不再是画图,而是音乐生成!而且还是开源的! 这个新工具叫 Stable Audio Open,简单来说,用文字就能生成各种音频——无论是鼓点、...
admin的头像-零度博客admin
2.3W+2176