这项由新加坡管理大学与上海交通大学联合开展的当A代码的评研究，于2026年7月以预印本形式发布（arXiv:2607.01211v1），分卷归属于计算机科学软件工程（cs.SE）领域。本身不靠办读者可通过该编号在arXiv平台获取完整论文。当A代码的评

引言：从一道“不靠谱”的分卷考题说起

期末考试的核心在于公平与准确。若试卷的本身不靠办标准答案存在半数错误，或不同考场的当A代码的评判分尺度不一，则考试失去意义。分卷当前，本身不靠办AI领域正面临类似的当A代码的评信任危机。

近年来，分卷“代码智能体”（Code Agents）——即能自动分析代码、本身不靠办定位性能瓶颈并生成优化方案的当A代码的评AI——成为科技巨头竞相追逐的热点。然而，分卷这些AI能力的本身不靠办量化评估依赖于“基准测试”（Benchmarks），即衡量AI性能的“考试卷”。问题的关键在于：这些作为评估基础的“考试卷”本身是否可靠？

新加坡管理大学与上海交通大学的研究团队对此进行了深度审查。他们选取了目前最具代表性的三套代码性能优化基准测试——GSO、SWE-Perf和SWE-fficiency，对其进行了从头至尾的严格审计，得出了令人深思的结论。

一、 评估对象解析：这三套“考卷”究竟在测什么？

要理解研究发现的漏洞，首先需明确这三套基准测试的运作机制。

可以将代码智能体视为一名“性能优化工程师”。其任务是在保持功能正确的前提下，通过修改代码提升运行速度。这比单纯编写代码更为复杂，类似于要求厨师在保持菜品口味不变的情况下，将烹饪时间缩短一半。

通用框架：
每道题目对应一个真实的开源代码仓库，包含：
1. 基线代码（原始版本）；
2. 参考优化代码（官方标准答案）；
3. 计时程序（用于测量运行速度）。

AI提交的修改方案经运行后，其速度与基线及标准答案进行对比，从而得出评分。

三套基准测试的具体差异：

尽管框架相似，但三套测试在规模、数据来源及打分逻辑上存在显著差异，这为后续发现的不一致埋下了伏笔。

二、 核心问题一：跨机器环境的“标准答案”稳定性

研究团队提出的首要质疑是：代码优化题的“标准答案”（参考优化代码）是否具有环境无关性？

代码的运行速度受硬件架构（CPU型号、代际、缓存机制等）影响极大。若“标准答案”仅在特定硬件上表现优异，换机后加速效果消失，则评判标准本身即不稳定。

实验设计：
研究团队在谷歌云（GCP）上部署了四种不同配置的服务器（涵盖2019-2025年间的Intel与AMD芯片），保持64核心、256GB内存一致。每道题的“标准答案”在每台机器上运行三轮，共计12轮测试。

评估标准：
1. 宽松标准：标准答案在所有机器/轮次中均快于基线。
2. 严格标准：满足各基准测试原有的有效性规则（如GSO要求加速≥1.2倍；SWE-Perf要求统计显著性且增益系数>0.05；SWE-fficiency要求均值差异>2倍标准差）。

结果分析：

• 宽松标准下：GSO通过91/102题，SWE-Perf通过48/140题，SWE-fficiency通过470/498题。
• 严格标准下：
• GSO：仅剩 39题通过。
• SWE-Perf：仅剩 11题通过（通过率仅 8%）。
• SWE-fficiency：剩余 411题通过。

为何SWE-Perf表现最差？
进一步分析显示，SWE-Perf中绝大多数题目的“标准答案”加速效果微乎其微。在138道可运行题目中，101道的中位运行时间变化在±5%以内，整体中位数仅为 -0.03%。

这意味着，SWE-Perf的“标准答案”几乎等同于未优化代码。这种微弱的信号极易受机器噪声（1-2%的波动）干扰，导致在换机测试中频繁失效。相比之下，GSO和SWE-fficiency的标准答案加速幅度较大（中位数分别为-54.2%和-56.0%），因此具有更强的鲁棒性。

三、 核心问题二：打分规则对排名的颠覆性影响

即使“标准答案”可靠，汇总分数的算法也会极大影响最终排名。研究团队发现，GSO与SWE-fficiency的打分逻辑截然不同，导致排名出现巨大分歧。

1. GSO：二元成功率（Binary Success Rate）

• 逻辑：每道题仅判定“成功”或“失败”。
• 标准：代码功能正确 且速度提升 ≥ 标准答案。
• 计算：成功题目数 / 总题目数 × 100。
• 特点：每道题权重均等，无部分分，结果直观。

2. SWE-fficiency：调和平均数（Harmonic Mean）

• 逻辑：计算每道题的“速度比”（AI速度 / 标准答案速度），取所有498道题的调和平均。
• 陷阱：调和平均数对极低值极度敏感。
• 为防止除以零，SWE-fficiency设定速度比下限为 0.001。
• 这意味着，一道极差的题目（如代码无法运行或性能倒退100倍）在分母中贡献 1000，而正常题目仅贡献 1。
• 后果：少数“极差题”的权重相当于数百道正常题目。

排名一致性测试：
研究团队对比了8个同时出现在两个排行榜上的AI提交记录。结果显示，在28对两两比较中，有 9对排名意见相左（约1/3的判断相反）。例如，某基于GPT-5的模型在GSO排名第7，而在SWE-fficiency排名第2。

归因实验：
当使用GSO的二元成功率重新计算SWE-fficiency的数据时，排名一致性（斯皮尔曼相关系数）从 0.452提升至 0.762，不一致对数从9对降至6对。这证实了打分规则本身是导致排名差异的关键因素。

四、 极端惩罚机制：一道“烂题”如何主宰排名？

调和平均数的敏感性在实际评分中造成了极端影响。

数据洞察：
在SWE-fficiency的8个公开提交中，权重最高的单道题占该AI总分分母的 6.3% - 33.6%。
* 以Claude Opus 4.5为例，仅因一道题的速度比为0.00134（比标准答案慢750倍），其分母贡献占比高达 33.6%。
* 换言之，1道极差题 ≈ 164道正常题的一半权重。

若考察最差的10道题，它们占据了所有提交记录总分分母的 58.5% - 82.8%。这意味着，在498道题的测试中，最差的10道题控制了超过一半的评分权重。

干预实验：
研究团队提出“有界惩罚”方案，将每道题的惩罚上限设为1（下限从0.001调整为0.5），使极端题与普通题权重处于同一量级。
* 结果：8个提交中有6个排名发生变化，28对两两比较中有8对结果翻转。
* 结论：合理的惩罚设计改变会导致排行榜重新洗牌，证明现有排名对极端异常值过度敏感。

五、 剩余难题的真相：AI真的无解吗？

研究团队进一步分析了那些“标准答案”跨机器稳定（回放有效）的题目中，当前最佳AI的表现。

视角转换：
不再关注“单个AI能否解决”，而是关注“多个公开AI中是否至少有一个能解决”。这更符合实际工程场景（工程师可择优使用）。

数据结果（450道回放有效题）：
1. 功能正确性：全部450道题至少有一个AI提交给出了功能正确的代码。
2. 性能提升：449道题至少有一个AI提交比原始代码更快。
3. 达到标准：384道题（85.3%）至少有一个AI提交达到或超过标准答案速度。

关于剩余66道“未达标”题目的分析：
这66道题并非AI完全无法处理：
* 全部66道均有正确的AI代码改动。
* 65道的最佳AI改动比原始代码更快。
* 仅1道的最佳AI改动虽正确但无速度提升。

性能差距评估：
* GSO中这66道题的最佳AI改动中位数达到标准答案速度的 85.3%。
* SWE-fficiency中为 87.9%。
* 其中27道题甚至达到了 90%以上。

原因探究：
研究团队利用GPT-5.5对优化策略进行分类（算法、数据结构、内存、代码结构等）。
* 策略一致性：32道题中，最佳AI与标准答案策略相同；34道题策略不同。
* 策略与效果的关系：策略相同的32道题，中位速度比达89.8%；策略不同的32道题中，仍有11道达到90%以上。
* 结论：策略选择并非决定差距的主因。AI通常已找到正确的优化方向，但在细化实现（如循环优化的全面性）上做得不够彻底，导致未能达到最优解的深度。

六、 总结与启示

这篇论文的核心观点是：AI代码优化排行榜上的高分，并不像表面看起来那样具有绝对的参考价值。

1. 基准稳定性存疑：大量“标准答案”（尤其是SWE-Perf）在跨机器环境下缺乏稳定性，因其加速信号过于微弱，易受硬件噪声干扰。
2. 打分规则主导排名：SWE-fficiency的调和平均数机制导致少数极端失败案例主导评分，改变打分逻辑即可大幅改变排名。
3. 差距正在缩小：在“回放有效”题目中，多数任务已被至少一个公开AI系统较好地完成。真正的挑战在于从“比原版快”到“媲美最优解”的最后一步优化深度。

对各方建议：
* 评估者：不应仅看排行榜分数，需审视基准信号的可靠性、题目权重分布及不同打分规则下的排名变化。
* 开发者：现有基准中绝大多数任务已可被较好解决，研发重点应转向提升优化的彻底性与鲁棒性。
* 基准设计者：下一代基准应从“给定代码与计时测试”转向“提供性能画像/火焰图”，让AI自主识别瓶颈、选择目标并验证效果，兼顾速度、内存与延迟等多维指标。

这项研究的价值在于校准评估工具，而非否定现有测试。它提醒我们，只有了解工具的误差范围，才能更准确地解读AI能力的真实进展。

Q&A 深度解析

Q1：为何SWE-Perf基准测试的跨机器稳定性极差？
A：核心原因并非机器噪声过大，而是“标准答案”本身的加速幅度太小。SWE-Perf中绝大多数题目的参考优化代码，其运行时间变化中位数仅为 -0.03%，几乎等同于未优化。这种微弱的性能信号极易被硬件差异或测试波动（1-2%）所掩盖，导致在统计检验中失效。相比之下，GSO和SWE-fficiency的标准答案加速幅度超过50%，具有更强的抗干扰能力。

Q2：SWE-fficiency的调和平均打分方式存在什么缺陷？
A：调和平均数对极低值极度敏感。SWE-fficiency允许速度比最低降至0.001，导致一道极差题目在分母中贡献1000，而正常题目仅贡献1。在498道题中，最差的10道题可占据总分分母的58.5%-82.8%，使排名由少数极端失败案例主导，而非整体表现。若将惩罚上限从1000压缩至1，将导致6个AI提交排名变化及8对比较结果翻转。

Q3：代码优化基准中剩余的“未解决”题目，AI真的无解吗？
A：并非无解。在66道未达标准答案速度的题目中：
* 全部66道均有正确的AI代码改动；
* 65道的最佳AI改动比原始代码更快；
* 最佳AI改动中位数已达到标准答案速度的 85%-88%，部分甚至超过90%。
问题通常不在于AI找错方向，而在于优化不够彻底，未能将改进措施贯彻到代码的所有相关位置。