实时语音加视觉：新版ChatGPT像Moss降临

2024年5月14日，今天凌晨OpenAI把春季发布会从9号改到了今天开，正好卡在Google开发者大会前一天，会上放出的新模型GPT-4o和基于它重做的新ChatGPT把我看得头皮发麻，我熬着夜把感受记下来。

今天OpenAI又又又又开发布会了。

在大众心里，现在基本都知道，奥特曼是个贼能PR的人。每次PR的时间点都拿捏得极其到位，精准狙击其他厂商。比如上一次Sora，回头看从头到尾就是个PR举动，2月16号发的，快3个月了什么影子都没有。

而这一次，OpenAI把发布会从9号改到今天，也不知道哪个倒霉蛋被狙击了，反正我只知道，明天Google要开开发者大会……就差怼脸了。

不过今天OpenAI的东西直接杀疯了，完全不给友商活路，震撼得我头皮发麻。

最核心的就是它的新模型：GPT-4o，和基于GPT-4o打造的全新ChatGPT。

一、新模型GPT-4o

GPT-4o的这个o就是"Omni"，拉丁语词根，意为"全体""所有""全面的"。英语里omni常作前缀，表示"所有的"，比如omniscient意味无所不知，omnipotent意味全能，omnipresent意味无所不在。可想而知OpenAI这次对GPT-4o的期待有多高。

omnimodel指的就是文字、语音、图片、视频统一的模型，这是跟以往GPT-4V最大的区别，是正儿八经的原生多模态。

更重要的是它可以实时推理音频、视觉和文本——注意这里是实时、实时、实时，推理的不是文本，是音频、视觉！

杀疯了。

而之前一直在大模型竞技场上大杀特杀的im-also-a-good-gpt2-chatbot，就是这个玩意。之前所有人猜这个神秘的GPT2就是GPT4.5，这次看来是猜对了。

去年Gemini 1.5所谓的原生多模态炒得贼火，最后被报出来是剪辑，这次直接被GPT-4o在地上摁着打，Google真的是……

GPT-4o在统一模态的基础上，文本、代码能力基本能跟GPT-4 Turbo打平；而在围绕科学问题、数学问题的图表理解和视觉回答等多模态基准测试集上，全面碾压之前的模型，视觉感知基准上实现了碾压，能力强到爆炸。

不仅传统文本能力和GPT-4 Turbo性能相当，API还更快速，价格便宜50%。总结一下：与GPT-4 Turbo相比，GPT-4o速度提高2倍，价格减半，速率限制提高5倍。

二、新ChatGPT

新的ChatGPT基于GPT-4o，基本原地起飞。我甚至不想称它为ChatGPT，而是想给它一个国人更熟悉的代号：Moss。

新版ChatGPT得益于GPT-4o，在语音对话中几乎没有延迟，而且可以随时插嘴，模型实时响应。甚至模型能听懂你的情绪，甚至人的喘息声和呼吸。而它自己的情绪几乎无敌，跟真人一模一样，还能模拟机器人和唱歌的声音。看发布会听到它唱歌的那一刻，我的鸡皮疙瘩真的起来了。

Jim Fan在发布会开始前发了一段话，我觉得阐述得非常正确。

过往的人与AI语音对话，跟人与人之间的对话差太多太多了。人与人的实时对话充斥了无数的即时反应、打断、预测，还有各种语气助词，比如嗯嗯啊啊。而人跟AI的语音对话基本都经历三步：一是你说的话被AI语音识别，音频转文本；二是大模型拿到这段文本进行回复，产出文本；三是把产出的文本语音合成变回语音，也就是TTS。

这样的方式绝对逃不开延时，业界可能压得很低，但2秒的延时肯定会有，而且只有一来一回的回合制。即使音色和情绪再真实，用户也一定能感受到对面不是人，只是机器，沉浸感有巨大的滑坡。

而且最核心的是，这种转三道的方式，先把语音变成文本，是有损的——文本上不会保留你的语音情绪，生气、开心、愤怒、忧伤全都没了。人与人的交谈从来不是这样。

而这一次，OpenAI做到了：直接语音输入语音输出，不再需要语音到文本的转换。

不止语音，甚至它还有了视觉。是的，视觉，不是传一张图上去，而是直接打开摄像头，实时看发生了什么。

现场直接打开了摄像头，OpenAI的人开始现场写数学题，所有的一切ChatGPT都看在眼里，人一边写，它一边给答案。做了三道题之后，OpenAI直接给它递了一个纸条，上面写着"我爱ChatGPT"。而ChatGPT看到纸条后，跟小女生一样害羞地尖叫了起来——那种情绪的真实、那种真情实感，你跟我说这是AI？

《流浪地球2》中Moss的一切，正在我们面前真实地发生。

不仅可以打开摄像头，还可以基于OpenAI新推出的Mac客户端直接看屏幕，对着屏幕直接写代码。甚至可以直接视频对话，"她"能看到你所有的表情和情绪变化。

这个全新版本的ChatGPT，会在几周内推出。

写在最后

以上就是这次OpenAI春季发布会的全部内容。

去年11月的OpenAI开发者大会，我在当时的总结文章里写下过一句话："我消灭你，与你无关"。上一次OpenAI的随手更新，让无数初创公司直接消亡在原地，那是一次关于产品的更新，并没有秀太多的肌肉。

而2月Sora横空出世，秀肌肉的目的达到了，但这种To VC的宣发也给OpenAI和奥特曼带来很多诟病。在这场发布会之前，无数人猜OpenAI到底会发什么王炸，什么才能配得上奥特曼口中的"magic"。

那现在，OpenAI做到了，他们用GPT-4o依然证明了，他们是AI界的王者。新版的ChatGPT，在我看来，这是"Moss"的诞生。甚至他们还有很多新能力没在发布会上发出来，比如生成3D。

我甚至一边看一边想：我们人类究竟该何去何从。

不过看完了之后，我更期待的是接下来的产品评测。太强了，真的让我忍不住地兴奋。

但最后，一直有一个在我心中徘徊了很久的疑问——

OpenAI，你们的服务器，到底什么时候才能稳定不崩啊？？？