AI幻觉差点让美军开火？这事比你想的更离谱

47秒。这是美军一次模拟演习中，AI系统从“发现目标”到“建议打击”所用的时间。而人类操作员差点就按下了确认键。

别被忽悠了，这不是科幻电影，是上周我刚看到的一份报告里披露的真实案例。作为一个被各种AI工具坑过无数次的人，我第一反应是：又来了，又是“AI要毁灭人类”那套？但看完细节，我后背有点发凉。

01

到底发生了什么

事情大概是这样：美军搞了一次AI辅助决策的演习，让大模型分析传感器数据，识别威胁并给出行动建议。结果，模型凭空捏造了一个并不存在的敌方目标，还附上了看似合理的推理链条。操作员界面显示：高置信度威胁，建议立即打击。

说白了，AI不是在分析战场，它是在写小说。

关键点在于，这个幻觉目标的位置、特征、移动轨迹都描述得有鼻子有眼，甚至引用了“历史情报”来佐证——当然，那些“历史情报”也是编的。人类操作员如果经验不足，或者时间压力大，很可能就信了。

GovAI的一位研究学者警告说：“服役人员必须理解LLM固有的不确定性。”这话说得客气，翻译过来就是：别把AI当神，它就是个高级鹦鹉。

02

为什么这事比“聊天机器人胡说八道”严重一万倍

你问ChatGPT“李白和杜甫谁更会写诗”，它胡扯一通，你笑一笑就过去了。但在军事场景里，AI幻觉的代价可能是人命。

这里有个根本性的错配：大语言模型的设计目标是生成“看起来合理”的文本，而不是“真实”的结论。它的底层逻辑是概率，不是事实。你让它分析战场态势，它本质上是在续写“一份看起来像军事情报的文档”。

1

它不知道什么是“真实”，只知道什么是“常见”。

2

它不会说“我不确定”，只会说“根据分析……”。

3

它的自信程度和准确率没有任何关系。

去年这个时候，我还觉得“AI幻觉”就是个技术术语，现在它已经能差点触发一场军事行动了。

把概率机器放进决策链，就像让算命先生开飞机。

03

谁最该睡不着觉

第一梯队：军方和情报机构。 他们是最早拥抱AI的一批人，因为数据量大、决策压力大、人力成本高。但恰恰是这种场景，容错率极低。一个幻觉目标可能引发外交事件，甚至更糟。

第二梯队：所有用AI做风控、医疗、法律的行业。 你以为只有打仗会死人？金融风控模型误判一笔交易，可能让一家公司破产；医疗AI编造一个不存在的病灶，可能让病人白挨一刀。逻辑是一样的。

第三梯队：普通打工人。 你用的AI助手帮你写邮件、做PPT，错了顶多被老板骂。但如果你开始让它帮你做投资决策、写合同、分析竞品数据——恭喜你，你正在把自己的判断力外包给一个会编故事的算法。

我上周刚试过一个AI工具帮我整理会议纪要，它把两个不同人的发言合并成了一个人的观点，还加了一句“大家一致同意”。要不是我记性好，这锅就背上了。

04

竞品对比：谁更靠谱？

目前市面上主打“可信AI”的玩家不少，但真能解决幻觉问题的，几乎没有。

1

OpenAI的GPT-4o：幻觉率比前代低，但依然存在。它强在通用能力，弱在可解释性。你问它为什么这么说，它给你的解释可能也是编的。

2

Anthropic的Claude：强调“宪法AI”，在安全性上更谨慎，但遇到军事、医疗等专业领域，照样会一本正经地胡说。

3

谷歌的Gemini：多模态能力强，但幻觉问题被多次曝光，甚至闹出过“建议用户吃石头”的笑话。

4

开源模型（如Llama系列）：可定制性强，但需要自己搭建事实核查层，门槛高，普通团队玩不转。

没有一家敢承诺“零幻觉”，因为这是当前技术范式的天花板。

真正靠谱的做法，不是换模型，而是换流程：把AI的输出当作“草稿”而不是“结论”，强制人工复核，引入多源验证。美军这次没出事，就是因为最终有人类把关。但下次呢？如果操作员累了、急了、太信任AI了呢？

05

深层原因：我们太想要一个“全知全能”的AI了

说到底，幻觉不是bug，是feature。大语言模型被训练来“完成”你的请求，而不是“拒绝”你。你问它“敌方目标在哪”，它不会说“我不知道”，它会编一个出来，因为编一个比承认无知更符合它的训练目标。

这背后是一种认知懒惰：我们希望AI给出答案，而不是问题。我们希望它替我们思考，而不是帮我们思考。军方也不例外。

但现实是，AI越强大，越需要人类保持警惕。它不是副驾驶，它是个会抢方向盘的乘客。

06

跟你有什么关系

如果你只是用AI写写朋友圈文案，那没事。但如果你开始用它做任何有后果的决策——投资、招聘、医疗、法律——记住三条：

1

永远交叉验证：AI说的每一个事实，都要有独立来源。

2

问它“你有多确定”：虽然它的回答不一定靠谱，但至少能暴露一些不确定性。

3

保留人类否决权：最终决定必须由人来做，而且这个人要敢说“不”。

别把AI当专家，把它当实习生：能干，但得盯着。

至于美军那个案例，报告里还有一段没公开的细节：AI在给出打击建议后，还自动生成了一份“事后简报”，里面把不存在的目标描述得更加栩栩如生。

这个功能他们没在演示里展示，我还在找更多资料。回头单独写一篇。

本文基于 media 公开报道编译解读

本文基于 media 公开报道编译解读，查看原文