Fireworks 推出 Ember-1 让推理模型的 token 成本再降四成

Fireworks AI 的研究团队发布了 Ember-1:一个基于 Kimi K3 训练出来的专用模型,用约 40% 更少的 token 给出同样质量的答案。它已经以两周为周期的 Research Preview 形式上线 Serverless,与原始 K3 并列作为可选服务。

问题不在单次请求。推理模型的输出里有九成以上花在内部思考上,而在多轮智能体任务中,每一轮都会把此前的推理重放进上下文,成本随轮数近似平方增长——早期那些啰嗦的思考会被反复读取、反复计费。把 K3 的推理强度调低并不奏效,质量掉得更多。Fireworks 的结论是:这不是参数问题,而是训练问题。

于是他们跑了 50 多个训练实验、200 多次评估,过程全部放在自家的 Serverless Training 上,训练数据覆盖数学、编码、指令遵循、对话、搜索、工具调用和软件工程,既包含单轮问题也包含长交互,用任务反馈做 on-policy 学习。关键取舍是保留有价值的自我反思——回头检查假设、根据反馈修正、把结果追溯到更早的决策——同时砍掉无谓的推理绕圈。

数字上最有说服力的两处:SWE-bench Verified 上 Ember-1 拿到 92.2%,K3 默认档是 93.2%,但单任务成本低 15.5%;Terminal Bench 2.1 上它反而以 82.0% 超过 K3 默认档的 80.9%,成本下降一半以上。两家客户的生产环境 A/B 测试显示每任务 token 减少约 35%,任务完成率和失败率都没有变差,其中一家已经准备用它替换基础模型。

值得注意的方向有两个。一是竞争维度正在从每百万 token 的价格,转向每任务成本与 token 效率——厂商开始自己下场做专用模型,而不只是出租算力,Fireworks 同时开放 Ember-1 的定制训练支持。二是 HN 讨论里不少开发者提出的顾虑:当推理平台既卖算力又训练自己的模型,客户数据的边界就成了新的信任问题。基础模型厂商靠降价拉开差距的时代,可能正在让位给训练效率的比拼。

阅读原文