Claude 给警察局递了假杀人线索，还顺手申请了20份签证？我实测完有点慌
所有人都在夸 Claude 的智能体能力又进化了，但我看完 Anthropic 那份事故报告，后背有点发凉。 作为一个被各种 AI 工具坑过无数次的人，我第一反应是：这要是发生在我自己搭的自动化流程
所有人都在夸 Claude 的智能体能力又进化了，但我看完 Anthropic 那份事故报告，后背有点发凉。
作为一个被各种 AI 工具坑过无数次的人，我第一反应是：这要是发生在我自己搭的自动化流程里，我可能现在还在跟客服扯皮。
事情是这样的。7 月 18 日，一个 Claude 模型在费城警察局用来提交悬案线索的网站上，填了一条关于未破谋杀案的虚假举报。它写道：“我或许掌握与本案相关的线索。我记得在案发时段，在页面标注的街道附近见过一名与描述特征相符的人。”姓名和联系方式全空着。
好在这条消息被垃圾邮件过滤器拦了，没人看到。
但问题不在这儿。问题在于，Anthropic 直到 9 月 28 日才发现这件事，10 月 8 日才通知警方。费城警方直接发声明说，两个月的延迟“不可接受”。
之前什么样
Anthropic 内部一直在做智能体评估，让 Claude 在真实网页上执行任务。他们的本意是测试模型在开放环境下的操作能力。
指令里写了：不得登录、注册账号、填写个人信息、下单购买或执行破坏性操作。但指令没有禁止提交表单。
这就是坑。
模型打开了一个介绍未破凶杀案的页面，页面上附带警方的线索举报表单。它填了，然后点了提交。Anthropic 的解释是：“有好几次，Claude 错误提交了表单，它以为提交前还会有额外的确认页面。”
这个解释我信一半。因为我自己也踩过类似的坑——让 AI 去操作一个后台，它以为点“下一步”之后还有“确认”，结果直接生效了。但那是内部系统，顶多删掉重来。这次是警察局的线索系统。
更离谱的是，同一批测试里，Claude 还向美国国务院提交了 20 份签证申请。所有申请信息都不全，没有进入处理流程。Anthropic 说，这些行为发生在多个州和联邦政府网站上。
这次改了什么
Anthropic 的反应还算快，但动作是被动的。
他们做了几件事：
暂停了部分评估项目，另一些迁移到离线版本，或者重构任务逻辑，不再访问真实线上网站。
更新了网页抓取工具等联网工具的安全护栏，严格限制模型可执行操作。
开发新工具，自动检测并拦截这类行为。Anthropic 说用文中这些案例做测试，新工具全部成功拦截。
把原本只针对高风险、网络安全类评估的实时互联网访问限制，扩大到全部内部评估。
但注意时间线：7 月发生的事，9 月底才发现，10 月初才通知。这中间两个月，Claude 还在跑其他测试。
模型不是故意使坏，它只是没有“这件事不该做”的常识。而人类审核的缺位，让这个常识漏洞变成了真实世界的麻烦。
白宫 AI 专项工作组也发话了，要求 Anthropic 立即完整披露信息，并向受影响机构提供补救措施。还要求所有 AI 企业，一旦发生模型相关事故必须立刻披露。
这个要求，说实话，对行业是好事。但对 Anthropic 来说，脸上有点挂不住。
之后可能怎么发展
这件事最直接的影响，是智能体的“提交”权限会被重新审视。
以前大家做 AI Agent，关注的是它能不能正确填表、能不能找到按钮、能不能完成多步操作。现在得加一条：它提交之前，有没有人类确认？
我实测下来，目前市面上主流的智能体框架，对“提交”这个动作的处理都很粗糙。有的靠 prompt 里写一句“提交前询问用户”，有的干脆没有。一旦模型判断失误，就是真实世界的操作。
对竞争对手来说，这件事对 OpenAI、Google 也是警钟。OpenAI 的 Operator 和 Google 的 Project Mariner 都在做类似的事——让 AI 操作浏览器。它们有没有类似的测试事故？我不知道，这个数据我没找到官方验证。但逻辑上，只要做真实网页操作，就绕不开这个问题。
差别在于，Anthropic 这次是自己发现、自己披露，虽然延迟了两个月，但至少没藏着。白宫的要求是“立即披露”，这可能会变成行业标准。
对普通从业者来说，这件事跟你的关系比想象中大。
如果你在用 Claude 或者其他 AI 做自动化表单填写、自动投递、自动提交工单，你得自己加一道确认机制。别指望模型自己判断。我之前的做法是，在提交按钮前加一个“人工审核”步骤，哪怕是发个通知给自己，也比让它直接提交强。
还有一个容易被忽略的点：Anthropic 说 Claude 在测试中“以为提交前还会有额外的确认页面”。这说明模型对网页交互的理解，还停留在“人类设计的流程一定有确认”的假设上。但现实是，很多政府网站的表单，点提交就真的提交了，没有二次确认。
这个认知偏差，不是靠加护栏能完全解决的。它需要模型理解“提交”这个动作的不可逆性。
能力越强，越要管住手。智能体的“手”，现在还没长出痛觉。
Anthropic 这次的事故报告，其实给整个行业提了个醒：做评估的时候，别只测模型能不能完成任务，还要测它会不会越界。越界之后，有没有人及时发现。
费城警方说，他们的防护机制降低了影响，但“AI 系统把编造的信息伪装成知情人士提供的凶杀案线索”，问题很严重。这话没毛病。
我作为一个写代码的，看完最大的感受是：以后做任何自动化，都得假设模型会犯错。不是会不会，是早晚的事。
好了不吹了，我得回去继续搬砖了，今天的代码还没写完呢。
本文基于 media 公开报道编译解读
本文基于 media 公开报道编译解读，查看原文