实测Claude3：推理已经全面压过GPT4

2024年3月5日，今天大半夜Anthropic一声不吭就把Claude3发了出来，我第一时间上手，连测了好几个小时，趁热把结论记下来。

大半夜的，一石惊起千层浪，Claude3正式上线。这家由OpenAI分裂出去的兄弟公司Anthropic，就这么默默地把Claude3发了。没有所谓的发布会，没有什么华丽的舆论，就仅仅在X上发了个帖子。我发现现在的这些AI公司真挺有意思，都把X当成发布主阵地了。字很少，但是事挺大。

一口气发了3个模型：Claude 3 Opus、Claude 3 Sonnet 和 Claude 3 Haiku。这名字取的就很有故事。Opus大概意思就是史诗级乐章、牛逼上天那种；Sonnet是十四行诗；Haiku是俳句，日本的那种三行短诗。所以可以简单理解成：Opus（超大杯）、Sonnet（大杯）、Haiku（中杯）。三个档位的区别没什么特别可说的，牛逼的更贵，便宜的更快，一眼就能看明白。

真正要紧的是他们附加的那张成绩单：Claude3的Opus模型，全面超越GPT4，而且是在几个任务0-shot的情况下。拿MGSM多语言数学推理这个测试集举例，Claude3 Opus用0-shot达到90.7%的准确率，GPT4是8-shot，74.5%。0-shot意味着大模型没在Prompt里给任何示例就直接被要求完成任务，8-shot则是干活前先给了8个示例。一个没给示例直接上，一个给了8个示例的GPT-4反而还打不过Claude3。在复杂的推理任务上，Claude3可以说是全面吊打GPT-4；而在MMLU、GSM8K这种语言类知识类测试集上，跟GPT4基本差不太多，所以核心上还是推理能力的巨幅提升。

反正这个Claude3 Opus很吸引我。但Claude这狗东西果然跟OpenAI学的一套一套的，免费的只能用Sonnet，Opus只有氪了20刀的会员才能用。在我炸了8个号之后，那只能送他20刀了。疯狂跑了几个小时，也测了很多2023年8月之后的问题之后，我给Claude总结3个特点：独一档的推理能力、跟GPT4V打平的多模态、200K长文本优化。

一、独一档的推理能力

从上文就能看到，Claude3进化最大的就是推理、就是逻辑。光看参数感受不到，那就说几个我觉得很有代表性的例子。先是一道补集法概率题：一家公司两个部门，A部门3个男生2个女生，B部门4个男生6个女生，要派3个人出差，要求每个部门至少出一人，求至少有一个女生被派出的概率。这是一道致命题，在已经明确补集法的情况下，GPT4的错误率依然高达50%；而Claude3 Opus我测了10遍，准确率90%，就很爽。

再是那道推销员的题：绿房子卖掉三分之一的吸尘器，红房子多卖2台，橙房子卖掉剩下的一半，还剩5台，问一开始有多少台，Claude也算得清清楚楚。物理题、化学题直接丢给它，全对；中文语境下的一些逻辑怪圈，也没问题。整体看，Claude在逻辑和推理上的进化巨大，初中的理科题基本都能横着走，不过高中题基本还是全线阵亡状态。而一些弱智吧的问题或者语义逻辑，都难不倒Claude3了。

二、跟GPT4V打平的多模态

GPT4V也出来很久很久了，多模态绝对是让人永远离不开的功能之一。这次Claude3终于把视觉能力补齐了，可以直接把图片喂给它。玩了几个小时后，我整体的评价是跟GPT4V大致打平手，官方的数据也大概是这个倾向：除了在科学图解这个领域超的稍微多一些之外，其他基本没有差别。把一张网页界面丢进去直接还原出网页源代码，猜个地名自然是小Case，根据作品猜个艺术家也OK；至于一些花活，Claude3 Opus同样给出了标准的答案，很完美。整体上跟GPT4V大差不差，对中文的支持也不错，算是弥补了一直以来Claude的短板。

三、200K长文本优化

之前我曾写过一篇文章怒喷过Claude2.1，因为它的上下文准确性实在太差，几乎半边都是红的。这一次他们终于有了大幅度的改善，终于达到了99%，嗯，还是没有100%。我直接甩了我的文章PDF数据集上去，测一个很经典的case："你写妙鸭相机那篇文章时，用了一个人的照片作为案例，那个人是谁？"过了很久很久终于给我回复了，内容是对的，没有问题，但这个速度实在太慢，起码等了1分钟左右。有比没有好。再看文档内跨度比较大的查询，整体精准度和语义理解都很不错。基于超长文本的对话、总结、查询能力，也终于在Claude3中补齐了——只能说补齐，毕竟这玩意Kimi都做了快半年了，Claude3现在也就刚刚达到Kimi在长文本这块的水平。

但是综合来看，Claude3 Opus依旧是目前最为水桶的大模型，或者可以说就是当前的No.1。

写在最后

当然这次更新Claude3还有一些别的特点，比如减少不必要的拒绝、准确性更高等等，我就不展开说了。总结一下：Claude3这次更新后，有独一档的推理能力、跟GPT4V打平的多模态，还有200K长文本优化，可以当之无愧地说，就是市面上目前最强的大模型。

不过按照OpenAI和奥特曼的尿性，他们应该忍不了这口气。我心底的盼求其实也一样：奥特曼赶紧的，发个GPT5狙击Claude3啊，别怂，打起来。那样我们才能最快速度，迎接加速而来的未来。