Scale AI 的新软件工程基准SWE-BENCH PRO，出现回转！

名义上看，"御三家"集体翻车，没一家的科罚率逾越25%：

GPT-5、Claude Opus 4.1、Gemini 2.5分裂以 23.3%、22.7%、13.5% 的科罚率"荣"登前三。

但真切数据背后，则庇荫玄妙。

前 OpenAI 计议员 Neil Chowdhury 示意，若是只看已提交的任务，GPT-5 能达到63%的准确率，比 Claude Opus 4.1 的31%，高了近一倍！

（这怎样不算 G 又赢！？）

换句话说，GPT-5 在擅长的题目上依旧郑重，与老基准 SWE-Bench-Verified 的 74.9% 差距不大，而 Claude 跟其他模子则径直拉垮到底。

那么，究竟是什么基准测试，让这些顶级模子如斯苦衷？

先说论断，不是模子变菜了，而是题变难了。

与平均正确率高达70%的SWE-Bench-Verified比较，SWE-BENCH PRO严格得可不啻一星半点。

一方面，算作 OpenAI 于 2024 年 8 月发布的测试集，SWE-Bench-Verified 中的好多代码库已被用作诳言语模子的预教师语料，存在着数据浑浊的风险。

另一方面，SWE-Bench-Verified 还包含不少琐碎的问题，举例 500 个问题中有 161 个只需一两行修改。

这与工业软件工程中每每触及的跨多文献、数百行修改的场景差距较大，从而无法真的反应本体开采场景中所面对的挑战。

基于此，SWE-BENCH PRO 主打全新题目，以确保模子在教师阶段从未战役过测试内容，从而更真实地磨真金不怕火模子的本体才调。

涵盖 1865 个生意利用、B2B 工作和开采者器具的多元化代码库

具体来说，SWE-BENCH PRO 将这些代码库构建为以下三个子集：

各人集：来自接收 copy-left 许可证的 11 个各人代码库的 731 个问题。

生意集：来自 276 个源自初创公司代码库的问题。

保留集：来自接收 copy-left 许可证的 12 个各人代码库的 858 个问题。

（注：各人集将在 HuggingFace 上发布，生意集和保留集保抓寥落，生意集的测试成果会公开，保留集用于考证模子是否过拟合。每个问题由任务描摹、联系测试集和可动手环境组成。）

这些从强 Copyleft 许可证（GPL）代码库和真实的初创公司获取的生意代码库好像有用地科罚 SWE-Bench-Verified 存在的数据浑浊问题。

为了确保任务的复杂性，计议团队还抛弃了像 1-10 行代码裁剪这么琐碎的裁剪，保留了需要进行多半多文献修改的问题。

此外，为了详确模子对任何单一代码库产生过拟合，这些代码库皆处于活跃情状并隐敝铺张者利用、B2B 工作和开采者器具平台。

接下来，就让咱们望望计议者是如安在这些问题上进行测试的。

human in the loop 的测试智商

为了将模子评估的要点放在当模子赢得充分细节后，能否终了给定的确立或补丁上。

计议团队在 SWE-Bench Verified 的基础上，将 SWE-BENCH PRO 中的每个问题皆经由了东谈主工增强，并加入了问题述说、需求诠释以及接口信息。

领先，计议团队提供一个待科罚问题的问题述说并在必要时补充陡立文信息。

其次，针对潜在的歧义问题，关于每个问题，列出了一系列需求并指定相应的类和函数。

之后，在环境方面，每个任务皆在一个容器化的、用于特定话语的环境中进行评估。

在测试阶段，计议通过fail2pass测考试证问题是否已科罚，通过pass2pass测试确保现存功能保抓竣工。

其中，为了确保测试质料，fail2pass 测试会经由东谈主工筛选，去掉与任务不联系或过于时常的测试。

关于偶尔失败的测试，则会动手三次，以确保成果踏实。

实验论断

正如咱们起原提到的，诳言语模子在 SWE-BENCH PRO 上的科罚率仅为中等水平，远低于 SWE-Bench Verified 中的 70% 。

其中，在各人集上，GPT-5 和 Claude Opus 4.1 分裂终澄莹 23.3% 和 22.7% 的最高科罚率，权贵优于小限度模子，Claude Sonnet 4 也达到了 16.3% 的科罚率。

不外，像 DeepSeek Qwen-3 32B 和 GPT-4o 这么的老模子推崇就几许有点不尽东谈概念了，仅为 3.4% 和 3.9%。

在生意集上，即即是最优模子的得分也低于 20%。

这标明面前模子在科罚真实生意场景中的问题时，才调仍然颠倒有限。

针对这一苦涩的实验成果，计议东谈主员伸开了进一步的分析，论断如下：

领先，编程话语的难度、代码库以及模子的种类被视为影响模子推崇的要津要素。

Go 和 Python 每每推崇较好，一些模子在这些话语上的科罚率逾越 30%，而 JavaScript 和 TypeScript 则波动较大，从 0% 到逾越 30% 不等。

不同代码库的科罚率各异也很显豁，一些代码库遍及偏低（低于 10%），另一些则逾越 50%。

前沿模子如 Claude Opus 4.1 和 GPT-5 在大多数编程话语和代码库中推崇踏实，小限度模子则更易出现接近零的科罚率。

其次，不同的模子的失败原因往往各不沟通。

OPUS 4.1 的主要失败步地是语义意会不足，失实解答占 35.9%，语法失实占 24.2%，标明那时间试验才调较强，但在问题意会和算法正确性方面存在挑战。

GPT-5 的成果败露在器具使用的有用性上可能存在各异，但失实解答相对较少。

SONNET 4 的主要失败步地是陡立文溢出（35.6%）和权贵的不绝断文献读取行为（17.0%），标明其在陡立文不停和文献导航战略上存在局限。

GEMINI 2.5 的失败步地则较为平衡，涵盖器具失实（38.8%）、语法失实（30.5%）和失实解答（18.0%），败露其在多个维度上保抓了一定才调。

QWEN3 32B 算作开源模子，推崇出最高的器具失实率（42.0%），突显了集成化器具使用关于高效代理的首要性。

不出丑出，GPT-5 天然延续了以往"会就会，不会就不会"的答题战略，但面对高企的未复兴率（63.1%），它的推崇仍然不够看。

那么，谁会成为第一个冲破 30% 的大模子呢？

参考蚁集

[ 1 ] https://x.com/vbingliu

[ 2 ] https://scale.com/leaderboard/swe_bench_pro_public

[ 3 ] https://x.com/ChowdhuryNeil/status/1969817448229826798

[ 4 ] https://scale.com/research/swe_bench_pro

一键三连「点赞」「转发」「戒备心」

迎接在议论区留住你的思法！

—  完  —

� �  年度科技风向标「2025 东谈主工智能年度榜单」评比报名开启啦！咱们正在寻找 AI+ 时期领航者  点击了解笃定

❤️‍� �   企业、产物、东谈主物 3 大维度，共缔造了 5 类奖项，迎接企业报名参与   � �  

一键暖热 � � 点亮星标

科技前沿进展逐日见开云体育(中国)官方网站