真实企业代码把编码智能体的解题率压到了四成以下
Specific Labs 发布了 Real-SWE，一个建立在获授权私有生产代码库上的编码智能体基准。十项任务来自真实公司的待解决问题，要求智能体理解企业内部约定，并操作数据库、容器、云服务模拟器以及 GitHub、Linear 等工具。与只围绕公开仓库构造补丁的测试相比，它试图测量智能体进入现有工程环境后完成端到端工作的能力。
基准评测的是“模型加原生编码工具”的组合，而不是孤立模型。每项任务独立运行八次，以一次尝试的通过率计算结果。Fable 5.1 搭配 Claude Code 以 38.8% 居首，GPT-6 Astra 搭配 Codex CLI 为 33.8%，Gemini 3.8 Flash 搭配 Gemini CLI 为 31.2%。十项任务中有六项的平均解决率低于 15%，没有任何组合能解决全部任务。
失败分析显示，智能体常见问题不是单纯不会写代码，而是未经验证便作出假设、漏掉需求、破坏系统集成，或在错误文件中修改。运行更久也没有自然消除这些问题：耗时不到十分钟和超过十分钟的失败率分别为 71.4% 与 73.4%。单次运行成本从 2.50 美元到 6.96 美元不等，更高成本同样没有稳定换来更高成功率。
这组结果提醒企业，编码智能体的瓶颈正在从生成代码转向理解业务约束、跨系统执行和验证完整性。它也需要谨慎解读：任务只有十项，模型与工具框架无法拆开比较，而且代码库、验证器和公司身份并未公开，外部研究者目前难以独立复现。因此 Real-SWE 更适合作为企业环境中失败模式的样本，而不是一张可以直接泛化的模型排行榜。