不要相信大上下文窗口——AI 编码智能体的真实注意力瓶颈
大型语言模型的上下文窗口近年来不断膨胀——200K、1M、甚至 2M token 的宣传数字已成为标配。但一项来自开发者社区的实测表明，这些数字更像营销噱头，而非可用的工作空间。
问题出在注意力机制的本质局限上。无论厂商如何宣传，模型的真实注意力在约 100K token 处开始急剧衰减。在这条分界线之前是“智能区”（smart zone），模型表现敏锐、召回准确；之后则是“盲区”（dumb zone），信息逐渐丢失、输出质量下降。RULER 和 Chroma 的“上下文腐烂”（context rot）研究报告均证实了这一现象。
这一瓶颈对 AI 编码智能体尤为致命。一个典型的编码智能体在单次会话中消耗 token 极快：几次文件读取、一段调试对话、一次测试运行——100K token 在午饭前就用完了。而智能体毫无察觉地继续在盲区中作业，输出质量逐步下降，用户却难以感知。
解决之道并非等待更大的上下文窗口。一些工具（如 Claude Code）已引入自动压缩机制，在会话变长时对历史进行摘要并重新开始。但开发者指出，压缩本身也是在退化后的模型上完成的，信号丢失不可避免。更有力的方案是采用“面包屑”策略——将关键信息从对话历史中移出，写入结构化的中间产物（PRD、计划、技能描述、子智能体交接文档）。obra/superpowers 和 skills 等项目正是围绕这一理念设计。
对于 AI 智能体的构建者而言，将上下文窗口视为有限预算、主动管理信息进出，远比追求更大的窗口数字更具实际价值。