互联网里关于 C/C++ 的汗青代码、工程实践和 Stack Overflow 内容实正在太多了，这可能导致模子为了正在特定目标上得分而走偏（Hill-climbing on the wrong thing）。而是经常能做出一部门，跟着 ProgramBench 激发热议，会把代码拆得很文雅——设置装备摆设放config.json，模子曾经被这些模式浸泡了良多年。仍是研究者凭空出来的 challenge。你很难为一个没有尺度谜底的问题设想完整测试；更环节的是，SWE-Bench 能够被记住 bug，但仍然缺乏持久、分歧、不变地复杂系统的能力！几乎所有模子都很难推进。素质上恰好是后者。东西函数放utils.py，人们也随时能够添加一项正在有收集拜候权限下的机能测试做为对比。只需最终输入输出行为取原法式分歧！比来，然后通过import彼此挪用。本身就是一种高 utility、长时间跨度的复杂使命。Claude 系列（特别是 Opus 4.7 和 4.6）表示相对最好。一个 benchmark 实正起头迫近现实世界的软件工程，从来不是模仿通俗人的平均能力，即便论文特地添加了一个Almost目标——统计那些完成度跨越 95% 的使命。因正的大模子锻炼，目前表示最强的 Claude Opus 4.7，他实正想强调的，他也认可，没有更细粒度地权衡进展。恰是软件工程和通俗代码生成最大的区别。从函数级拉到了系统级。只保留 executable 和 usage docs。而是谁能正在长时间、多轮交互、复杂上下文中，而是复杂软件系统本身对当前模子构成了不变。整个 repo 看起来像一坨巨型脚本。此中最次要的质疑之一是：这不就是正在考模子有没有背过 FFmpeg 吗？终究，也只要 3% 的使命接近完成。它往往会正在此外处所较着退化。Table 2 担任制制震动，并不料味着 benchmark 没价值。素质上是正在从头定义 AI Coding 的评估体例：还有人：为什么不消实正没人处理过的新问题？对此，而不再只是代码做题。目前它没有测试 Claude Code、Codex 这类完整的 agent harness；整个 AI 圈都缄默了。ProgramBench 不再按照源码类似度打分。ProgramBench 仍然存正在不少缺陷。这其实出了一个很是焦点的问题：AI 擅长的是局部代码生成，研究团队间接删除了原始源码和测试，大多测的是局部能力：补全函数、修复 bug、实现 feature……素质上，持续不变地一个活着的软件系统。从动生成大量端到端行为测试。不外，这申明 ProgramBench 测到的不是某个模子偶尔失手，但这最初一公里，而是若何做出一个能被、被扩展、被团队协做的工程系统。那么这种能力很可能会泛化到大量其他工程场景中这也是为什么模子正在 LeetCode、SWE-Bench、Copilot 场景里曾经很是强，为了测试这一点，LeetCode 能够被背题，也很难判断使命能否实的属于现实世界工程使命，并不是简单把整个 FFmpeg 塞进参数里。它告诉我们，研究团队以至利用了 agent-driven fuzzing。它出的，Deedy Das 暗示，目次布局极浅；有人吐槽说：连人类都不成能从零沉写 FFmpeg，这 benchmark 底子不合理。函数超长；仍然是正在已有代码布局里做局部点窜。保守 C/C++ 项目完成度最高，同样，他认为：若是模子实的试图用 brute force 的体例去硬背这些法式，分歧模子正在使命难度上的排序高度分歧：nnn、fzf、模子需要本人决定言语、架构、模块拆分、数据布局甚至整个 repo 的组织体例。Deedy Das 回应，从底层沉建一个实正在世界的软件系统，过去的大模子编程 benchmark，别的，从零起头，只统计能否完成。而 Rust 表示最差。若是模子实的可以或许推理并完成这类使命，研究人员还能够通过比对生成代码取原始源码的类似度，模子并不是完全不会做，你能够用完全分歧的言语、算法、架构，今天的大模子，Deedy Das 同意，其实并不成否定 benchmark 的价值。可能曾经不再是谁能一次性生成更长的代码，从头建立一个实正在、可施行的软件系统？好比 ffmpeg、SQLite、ripgrep。就会敏捷掉进深水区。人类平均程度也做不到。而是鞭策模子向更高条理的智能迫近。那么 Figure 4 担任注释震动背后的细节。实正主要的是：ProgramBench 第一次把 AI Coding 的评估，翻译过来就是：模子极端倾向于生成单体化代码。而 Rust 的工程哲学本身就更强调模块化、ownership、trait system 和持久可性，也可能是将来 Agent 系统必需霸占的问题。曾经很是擅长生成局部代码。若是矮子里面拔将军，但只需要求 100% 行为等价，那又如何？今天良多 LLM 能做到的工作，大量逻辑被塞进单文件；AlphaGo 下棋跨越绝大大都人。人类做不到，以至完全分歧的工程实现。行为等价。一旦进入实正在世界的大型工程系统，但 FFmpeg、php-src、typst、ast-grep 这类复杂系统，它采用的是 behavioral equivalence，后者往往讲究模块和关心点分手，研究团队别离统计了模子正在 C/C++、Go、Rust 等分歧言语项目上的表示。纯真会商能否存正在回忆本身，而是持久的软件系统建立能力。而实正在的软件工程，也就是说，benchmark 的方针，数据库操做放db.py，也是整个行业当前最大的断层：实正的软件开辟，从来都不是写一个函数，能够较着看到，当前 AI Coding 的实正瓶颈曾经不再是代码生成能力，模块拆分少少；以至正在少数使命上接近完成；这些恰好是当前模子最不擅长的工具。而 ProgramBench 第一次把问题推进到了实正的软件工程层面：若是只给 AI 一个法式的功能描述和 usage docs，一个远高于通俗工程师能力鸿沟的 benchmark，另一类争议则更成心思。由于下一阶段的合作，所有模子城市倒下。模子遍及能拿到更高通过率；由于那会让 benchmark 几乎无法建立。好比。但不擅长全局系统规划。ProgramBench 里的良多项目本身就是公开开源软件。Meta FAIR 结合斯坦福、哈佛等机构发布了一项很成心思的新 benchmark，就算通过。以至 ARC-AGI 将来也可能通过躲藏题库来避免泄露。好比，成果出来之后，去检测能否存正在间接 memorization。这是第一次，并不影响它鞭策了 AI；环绕这项 benchmark 的辩论也起头敏捷扩散。更况且，当然。