只用一个AI模型的公司要凉？纳德拉这话不是吓唬人

一个AI网关能救命？

你觉得只靠一个大模型跑业务，能撑多久？

微软CEO纳德拉最近说了句大实话：那些没有自研模型、也没建起"AI网关"层的公司，未来可能会出大问题。这话乍一听像是在吓唬人，但作为一个被各种AI工具坑过无数次的人，我得说——他说晚了，很多公司已经出问题了。

先解释一下纳德拉说的AI网关到底是什么。你可以把它理解成一层"缓冲带"，把你的业务请求和具体的AI模型隔开。你的指令先到网关，网关再根据需求选择调用哪个模型、怎么优化prompt、怎么处理返回结果。这样即使某个模型挂了、涨价了、能力退步了，你的业务也不至于直接崩掉。

我之前踩过一个特别典型的坑。去年我们团队做内容生成工具，全部押注在GPT-4上，结果API突然调了一次价，成本直接翻了快一倍...那段时间天天加班改架构，差点没把人逼疯。

没有AI网关的公司，就像把房子建在一块地基上——地基一裂，整栋楼都得塌。

这事儿跟谁有关？

别觉得这是大公司才要操心的事。

如果你是创业者，正在用某个大模型的API做产品，纳德拉这句话就是在说你。今天OpenAI好用，明天可能Anthropic更便宜，后天Google又出了个什么新能力。你不可能每次都重写一遍代码。

如果你是企业里的技术负责人，老板问你"咱们的AI能力安全吗"，你总不能说"目前OpenAI还没倒闭"吧？

如果你是普通用户，你用的那些AI工具背后，可能就是一个团队拿着单一模型硬撑。一旦这个模型出问题，你的体验会断崖式下降。

我之前在一个创业公司做顾问，他们做客服机器人，核心对话能力全靠Claude。有一次Claude的API维护了大概4个小时，他们的客服系统直接停摆。老板气得拍桌子，问为什么没有备份方案。我当时就说了一句——因为你没花钱建网关，现在省的钱都是将来的债。

有竞品能替代吗？

那AI网关这个赛道现在谁在做？其实已经有不少玩家了。

1

Portkey：专注做LLM路由和监控，开源社区热度不错

2

LiteLLM：开源方案，支持超过100个模型的统一调用

3

Helicone：偏重于可观测性，帮你追踪每个请求花了多少钱

4

一些大厂自己内部也在搞，比如微软自家的Azure AI Gateway

但说实话，大部分方案目前都还在早期阶段。最大的问题是延迟。多了一层网关，请求多转一道，响应速度肯定受影响。我实测过某两个开源方案，平均多了大概200-300毫秒，对于实时对话场景来说体感明显。

还有一点，网关本身也有成本。你得有人维护、得花时间做模型评估、得不断更新策略。对于小团队来说，这笔投入可能比直接付API费用还肉疼。

但纳德拉的判断我基本认同。未来12个月内，没有多模型策略的AI产品会越来越多地暴露出脆弱性。 不是因为某个模型会突然变差，而是因为整个行业变化太快，押注单一选项本身就是风险。

现在该干嘛？

如果你正在做AI相关的产品，我建议这周就开始做一件事：把你的核心业务逻辑和模型调用拆开。

怎么拆？三个步骤：

1

先把你现在调用模型的代码抽象成一个独立模块，别让它和业务逻辑混在一起

2

做一个最简单的切换机制，至少能做到"这个模型挂了，自动切到备用的"

3

开始记录每次调用的延迟、成本和质量，用数据来决定什么时候该换模型

别想着一步到位搞个完美的网关系统。我之前就犯过这个错，一上来想搞个大而全的方案，结果搞了三个月还没上线。后来改成最小可用版本，一周就跑通了。

对于大多数团队来说，"能切换"比"切得漂亮"重要一万倍。

如果你是普通用户，建议你也在常用的AI工具里多备一两个选择。别把所有问题都扔给同一个聊天机器人，至少了解一下其他选项的基本能力。等到你常用的工具突然不好用了，你不会手忙脚乱。

纳德拉说这话有微软自己的商业考量——他们家Azure正好卖这层服务。但抛开利益不谈，他指出的风险是真实存在的。在一个模型能力每个月都在变化的行业里，把身家性命押在一个供应商身上，确实是件挺危险的事。

我自己的判断是：半年之内，"多模型混合调用"会从技术圈的黑话变成产品经理的标配需求。 到那时候再补课，成本会比现在高得多。

本文基于 media 公开报道编译解读

本文基于 media 公开报道编译解读，查看原文