Sora三张王牌：60秒、多镜头、世界模型

2024年2月16日，今天凌晨我刷到OpenAI发布文生视频模型Sora的消息，震惊到一夜没睡，把它的几个案例和我能看到的门道全捋了一遍。

现在是2点22分，跟朋友们打完LOL手游，准备倒头就睡。临睡前刷了一眼X，然后看到了一个能给我震惊成傻逼的消息：OpenAI发他们的文生视频大模型Sora了，而且是强到能震惊我一万年的程度。https://openai.com/sora

如果非要用三个词来总结Sora，那就是"60s超长长度"、"单视频多角度镜头"和"世界模型"。我先说三个例子，再具体去展开。

我的脑海中突然冒出了《三体》中杨冬的一句话："物理学，不存在了。"套用这句话，那就是——"现实，不存在了"。文本、图片都已经被AI攻占，而现在AI视频这个人类最后的、最坚固的堡垒，在Sora的攻势下也已经很难再分清AI和现实的界限了。什么以前的AI视频工作流，全部成了往日泡影，全都滚犊子吧，都给OpenAI喊爸爸。

说回那三个最核心的特点。

一、60s超长长度

在一众AI视频还挣扎在4s连贯性的边缘时，OpenAI直接说：劳资支持60s。就，太特么吓人了。

看这个case。Prompt：A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

大意是：一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上，她穿着黑色皮夹克、红色长裙和黑色靴子，拎着黑色钱包，戴着太阳镜、涂着红色口红，走路自信又随意。街道潮湿且反光，在彩色灯光的照射下形成镜面效果，许多行人走来走去。

60s一镜到底，而且不止主人物稳定，连背景里面的人物都稳定得难以置信，从大中景无缝切换到脸部特写。这不是我对于AI视频浅薄的理解能解释的，我完全不知道是如何实现出来的。官网的解释等他们的技术文档。

二、单视频多角度镜头

现在的AI工作流都是单镜头单生成，一个视频里有多角度的镜头、主体还能保证完美的一致性，这在以前是无法想象的。但是OpenAI直接一句Prompt，在一分钟的镜头里实现了多角度的镜头切换，而且物体一致。

Prompt：A beautiful silhouette animation shows a wolf howling at the moon, feeling lonely, until it finds its pack.

一只狼对着月亮嚎叫，感到孤独，直到它找到狼群。"孤独"这个词，在这个视频里被描述得淋漓尽致。而且多镜头无缝切换，每一个分镜都用得极其讲究。这就像其他家AI视频还在冷兵器作战、刀剑相拼，这玩意直接把超电磁炮掏出来了，然后一炮直接轰在大家大脑门上。

三、世界模型

我之前写过一篇文章，聊过一些关于世界模型的话题。在我的理解里，世界模型最难的是收集、清洗数据。Runway的世界模型毫无动静，但是OpenAI的Sora直接来了一波大的。前面的视频case其实已经能看出Sora已经能懂物理规律了。

比如这个case。Prompt：A cat waking up its sleeping owner demanding breakfast. The owner tries to ignore the cat, but the cat tries new tactics and finally the owner pulls out a secret stash of treats from under the pillow to hold the cat off a little longer.

一只猫叫醒熟睡的主人要求吃早餐，主人试图忽视，猫尝试新策略，最后主人从枕头下拿出秘密藏匿的零食让猫再呆一会儿。这个视频最离谱的在于：猫在AI里能踩奶了。养猫的人都一定深有感触。

还有一个开车的case，吊打全世界所有AI视频。Prompt：The camera follows behind a white vintage SUV with a black roof rack as it speeds up a steep dirt road surrounded by pine trees on a steep mountain slope, dust kicks up from its tires, the sunlight shines on the SUV as it speeds along the dirt road, casting a warm glow over the scene. The dirt road curves gently into the distance, with no other cars or vehicles in sight. The trees on either side of the road are redwoods, with patches of greenery scattered throughout. The car is seen from the rear following the curve with ease, making it seem as if it is on a rugged drive through the rugged terrain. The dirt road itself is surrounded by steep hills and mountains, with a clear blue sky above with wispy clouds.

大意是：镜头跟随一辆带黑色车顶行李架的白色老式SUV，在陡峭山坡上一条被松树环绕的土路上加速行驶，轮胎扬起灰尘，阳光照在车身上投出温暖的光；土路蜿蜒延伸至远方，看不到其他车辆，两旁都是红杉树，零星散落着绿意；从后面看这辆车轻松地沿着曲线行驶，仿佛在崎岖地形上越野，周围是陡峭的丘陵与山脉，头顶是清澈蓝天和缕缕云彩。

最后一个我也觉得很离谱的case：Prompt：A Chinese Lunar New Year celebration video with Chinese Dragon.与中国龙一起庆祝中国农历新年的视频。这个真实的物理感觉，我真的希望他们是过拟合了。

因为之前跟某些大佬们聊，得到的信息是："人经历过千万年的进化，对于世界的常识是藏在基因里的，会自动把一些冗余的信息以极快的速度，一步一步剔除直到只剩最关键的信息，然后再做一些思考推断。但是机器没有，机器现在不懂抽象，所以需要人去做类似人类抽象化过程的学习算法，来抽离关键信息、收集视频数据。"收集数据是最难的，而OpenAI可能解决了。虽然他们表示，他们的世界模型还有很多弊端，但是……

写在最后

一年的时间，OpenAI炸出来一个王炸。一丁点消息不放，一丁点预热没有，直接王炸。而且最骚的是，他们宣布即将在今天晚些时候更新技术论文。

一夜未眠，我在各大群里看到的最多的几句话是："这怎么办啊……""都死吧""这个行业要完蛋了……"不仅仅是AI视频行业，还有很多传统的影视公司，比如虚拟拍摄、比如特效、比如广告。一将功成，万骨枯，我找不到更好的形容词了。

就这样吧，照这个AI发展速度，AGI应该很快了。希望，这不是人类的落日。