安大略审计发现医生AI记录系统频繁编造基本信息

加拿大安大略省审计总长办公室发布报告,对 20 个获批的 AI 医疗记录系统(AI Scribe)进行了系统性评估,结果令人不安。

审计使用模拟医患录音对系统进行测试,由专业医疗人员比对原始录音和 AI 生成的记录。结果发现:20 个系统中有 12 个(60%)在药物信息记录中出现错误,9 个系统(45%)编造了未在对话中提及的患者信息或治疗建议;17 个系统遗漏了关键的心理健康细节。

更值得关注的是评估体系本身的缺陷。在 AI 记录系统的评分中,准确性的权重仅占 4%,而「是否在安大略省有本地存在」这一指标占了 30%。偏见控制和隐私保护各占 2%。这种权重设置可能直接导致系统选择了准确性低下的产品。

安大略卫生厅表示已有 5000 多名医生参与该计划,目前尚无已知的患者伤害报告。但审计报告指出,系统缺乏强制性的医生审核确认机制——虽然官方建议医生手动检查 AI 记录,但没有任何功能强制要求这一步骤。

这一事件指向 AI 在关键行业落地的核心矛盾:当采购流程的激励机制与产品质量脱节时,市场选择的是”合规”而非”可靠”。对于正在进入医疗、金融、法律等领域的智能体经济来说,这是一个需要认真对待的警示。

阅读原文

← 全部文章