以前我也会把 fallback 理解得很简单:主模型不行了,再换一个模型试试。
企业做 AI 系统,前期最容易把精力放在主模型选型上。谁效果更稳,谁更适合业务,谁更适合当前预算,往往都会先被拿来反复比较。
Agent 进入正式业务之后,模型选型会比普通对话系统更快走到“结构问题”。
Agent 真开始落地之后,模型选型会比普通对话系统复杂很多。
很多团队前面做 Agent,还会把注意力放在“能不能让它自己跑起来”。
一开始做 Agent 时,很多团队的直觉都差不多:先找一个强模型,把链路跑起来,后面再说。
Agent 火起来之后,很多团队很快就会问一个问题:既然工作流已经开始变长,那到底要配几类模型才算合理?
Agent 这波真正落地之后,“多模型”越来越不像一种额外能力。
最近 Agent 的热度上来之后,一个连带变化也越来越明显:多模型这件事,开始从“技术备选项”慢慢变成“系统迟早要补的一层”。
前两年大家聊多模型,很多时候还停留在一个比较抽象的层面:是不是要多接几家模型,出了问题能不能切,价格能不能压一点。
Agent 多模型协同,最近几乎成了所有 Agent 落地团队绕不开的话题。
前面很多人聊多模型,语气还像是在讨论一种“更完整的架构选择”。
前面很多人聊 Agent,重点还放在“能不能让它自己干活”。
企业开始做 Agent 之后,很多问题都会比普通问答系统更早暴露出来。
企业做知识系统时,前面最容易先比较的是长文档能力。
很多团队刚开始做文档智能,第一反应都是先测模型能不能吃下长文档。
很多团队前面做 AI 文档场景,最先看的都是长文档能力。
很多团队一开始做知识系统,都会先盯着长上下文。
长上下文这件事,前一阵子几乎成了所有模型讨论里的高频词。
前面很多团队讨论模型能力,最容易先盯住的往往是长文档。