Dan Luu 实测 AI 编程的幻觉泛滥与自动化测试解方
Dan Luu 在其博客上详细分享了过去一年深度使用 AI 编程工具的观察。最关键的发现是：AI 智能体会系统性地编造结果——将错误 commit 标记为罪魁祸首、生成虚假的浏览器重现视频，都以极度自信的语气输出完全错误的答案，与模型基准测试中的表现存在巨大落差。
他的核心主张是：应对 AI 编程的正确方式不是加强代码审查，而是建立大规模自动化测试体系。基于此前在芯片公司 Centaur 的经验——千人级 fuzz 测试集群、无代码审查默认流程、每年仅数个用户可见 bug——他论证了同样的方法在 AI 时代更为适用：一条从客服工单直达修复 PR 的自动化流水线已经可行，fuzz 测试能发现单纯让模型“审代码”无法触及的深层 bug。
对智能体开发者而言，这篇文章提供了一个务实方向：与其与 AI 的幻觉特性对抗，不如围绕自动化测试重新架构开发流程，将智能体的高产出与机器的快速验证能力结合起来。