不管大模型还是小模型，决定AI落地价值的，始终是工程能力这两年，AI行业形成了一种近乎默认的判断：模型越大，能力越强；参数越多，答案越好。从厂商发布会、公开评测到普通用户的日常讨论，人们习惯用参数规模、上下文长度和榜单排名来判断一个模型值不值得使用。新模型一发布，最常被问的永远是那几个问题：多少参数？超过了谁……

本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs

不管大模型还是小模型，决定AI落地价值的，始终是工程能力

这两年，AI行业形成了一种近乎默认的判断：模型越大，能力越强；参数越多，答案越好。

从厂商发布会、公开评测到普通用户的日常讨论，人们习惯用参数规模、上下文长度和榜单排名来判断一个模型值不值得使用。新模型一发布，最常被问的永远是那几个问题：多少参数？超过了谁？是不是又比上一代更聪明？

这套判断标准，正在被大量企业原封不动地搬进采购决策里。

但在长期交叉使用本地模型与在线模型之后，我越来越觉得，它只说对了一半。

我的本地环境里有两张显卡，一张RTX 3090，一张RTX 3080 Ti，日常跑的模型从9B、27B到80B、122B都有。与此同时，ChatGPT、Claude、Gemini、Grok、DeepSeek、豆包等在线模型也一直在同步使用。

用得越多，我反而越不相信”模型越大就一定越好”。

更准确地说：

模型越大，通用能力通常越强；但一个AI系统是否真正好用，取决于任务是否被定义、知识是否被组织、行为是否被约束——而不只取决于参数量。

对企业而言，这句话的含义很直接：买最贵的模型，不等于买到了最好的结果。

一、大模型最明显的优势，是替人类消化模糊

今天，大部分人使用AI的方式其实很简单。

输入一个宽泛的问题，提供很少的背景，不说明用途，不定义标准，也不拆解任务，然后期待模型直接给出一个完整答案。

“帮我做一个商业计划。”

“帮我设计一个系统。”

“帮我分析一下这个行业。”

“帮我写一篇有深度的文章。”

这些问题本身没有错，但它们几乎把所有工作都交给了模型。模型不仅要回答问题，还要猜测用户真正想做什么；不仅要组织信息，还要补充背景、判断重点、设计结构，甚至替用户确定最终目标。

在这种使用方式下，大模型当然更有优势。模型越大，见过的表达越多，常识覆盖越广，处理模糊意图的能力越强。即使用户自己都没想清楚，它也更有机会拼出一个看起来合理的答案。

所以很多时候，人们需要更大的模型，不一定是因为任务真的复杂，而是因为人越来越不愿意把问题说清楚。

大模型正在承担的，不只是计算成本，还有人类不愿整理问题所产生的模糊成本。

这也是为什么普通用户第一次接触更强模型时，往往会有非常明显的”智能跃迁感”。不是所有任务都变复杂了，而是模型更擅长替用户补全那些没有说出口的部分。

问题在于，这笔模糊成本是要付钱的，而且是按次付、长期付。

二、真正开始动手之后，模型大小就不再是唯一变量

当一个组织不再只是拿AI聊天，而是开始真正建设系统，事情就会发生变化。

当模型被用于客服、内容生产、代码生成、结构化数据输出、内部知识问答或自动化工作流时，任务就不再是完全开放的。输入是什么，输出是什么，允许说什么，不允许说什么，怎样算正确，怎样算失败，都会逐渐被定义出来。

这时候，系统会加入越来越多的约束：固定提示词、示例数据、微调、输出格式、JSON Schema、长度限制、内容校验、重试机制、模型路由、人工抽检。

原本需要模型自己猜测的空间，会被工程设计一点点压缩。

当任务足够明确以后，9B、27B、80B和122B之间的差距，未必还像开放聊天时那么明显。

这是我在实际使用中最重要的一个发现：

任务越开放，模型规模越重要；任务越收敛，工程设计越重要。

如果一个任务没有清晰边界，只能依赖模型临场判断，那么更大的模型通常更有优势。但如果任务已经被数据、提示词、工作流和输出规则充分定义，小模型也可能稳定完成工作——甚至在某些场景中，小模型的实际体验会更好。

三、一个真实的反直觉结果：最令人满意的是9B

我曾为自己产品线上的客服场景做过一轮完整尝试。

最开始，很自然会想到RAG：把已有资料切片、向量化，再根据用户问题检索相关内容，让模型基于检索结果回答。

从知识准确性上说，RAG当然有价值。但实际用下来，我始终觉得它缺一样东西：人格。

它可能知道产品是什么，也能检索到相关定义，但它不一定知道应该用什么方式解释，不一定知道哪些概念必须坚持、哪些错误前提应该直接纠正、哪些问题不能顺着用户的话往下说。

它知道资料，却没有稳定的判断方式。

后来，我改用自有数据做微调，再配合固定提示词。最终结果反而是一个9B模型最令人满意。

这不是说9B比更大的模型更聪明。它在开放知识、复杂推理和陌生问题上的能力，当然远不如大模型。但在那个特定业务语境里，它表现得更稳定，更像一个真正理解业务语言和产品边界的员工：知道哪些词该用、哪些表述该避免，知道产品不是什么，也能稳定分清几个容易被混淆的核心概念之间的关系。

这让我逐渐意识到，各种技术手段解决的本来就不是同一个问题：

RAG：解决的是”模型知道什么”微调：改变的是”模型习惯如何回答”；提示词：负责说明”当前具体要做什么”；工作流：负责保证”结果是否真的可以使用”。

RAG像是给员工一本资料库，微调更像是对员工进行长期训练。

一个拥有资料库但没被训练过的员工，可能知道答案在哪里，却不知道该以什么立场、什么方式、什么边界来回答。

四、小模型的优势，不只是便宜

讨论小模型时，人们最常提到的优点是成本低、速度快、显存占用小。

这些当然重要，但在生产系统里，小模型更关键的价值是确定性。

经过针对性训练后，小模型往往更容易表现出：稳定的表达风格、更少的无关发挥、更快的响应、更容易复现的输出、更清晰的能力边界，以及更低的批量运行成本。

大模型知识更广、联想更多、表达更强。但对一个固定任务而言，过强的自由发挥并不总是优势。

客服不需要写出一篇精彩文章。结构化生成不需要每次都有新表达。自动化流程更不希望模型突然产生额外想法。

生产系统真正需要的，不是模型偶尔惊艳，而是模型能够稳定交付。

这与人们在聊天窗口里追求的体验完全相反。聊天时，我们喜欢意外、联想和创造力；生产时，我们更在意一致、可控和可复现。

五、大模型拥有更大的世界，小模型可以拥有更清晰的职业

一个通用大模型拥有广泛的世界知识，可以谈文学、历史、商业、编程、医学、物理和法律。它的优势是面对陌生问题时，仍然能快速形成一个基本答案。

但一个实际系统通常不需要模型理解整个世界。

客服模型只需要准确理解自己的产品；代码模型只需要更好地处理程序结构和工具调用；内部助手只需要理解企业的流程、术语和权限边界。

在这些任务上，一个经过高质量训练的小模型，完全可能比一个未经适配的大模型更合适。不是因为它更聪明，而是因为它有限的能力被更集中地分配到了一个明确任务上。

大模型拥有更大的世界，小模型可以拥有更清晰的职业。

这也是为什么我越来越倾向于按任务选择模型，而不是按参数排名选择模型。

六、成熟的用法，不是只选一个最大的

在我的实际使用中，不同规模的模型已经形成了清晰分工：

9B：高频、明确、稳定的任务，例如客服、固定表达、产品解释和部分内容生成；

27B：需要更强结构理解的工作，例如复杂格式输出和较长文本组织；

80B、122B及外部前沿模型：开放问题、复杂推演、陌生领域和重要判断；

代码专用模型：编程、脚本修改、仓库理解和工具操作。

这与传统软件架构中的分层并没有本质区别。数据库不负责所有工作，缓存不承担全部逻辑，前端、后端、消息队列、搜索引擎各司其职。AI系统最终也不会只由一个模型完成所有事情。

真正成熟的AI系统，更可能是一个模型梯队：简单任务交给小模型；复杂任务自动升级；专业任务交给专业模型；高风险任务交给更强模型或人工复核。

模型不应该按大小排队，而应该按任务分工。

把所有任务都交给最大的模型，是一种简单的使用方式，但未必是一种成熟的工程方式——它通常也是一种最贵的方式。

七、真正的AI工程，是减少模型必须”聪明”的地方

系统刚开始建设时，人们往往会高度依赖模型能力。

提示词写得不够清楚，就希望模型自己理解；数据质量不够稳定，就希望模型自己纠正；流程没有设计好，就希望模型临场处理；输出没有校验，就相信模型不会犯错。

这样的系统看起来很智能，但它的稳定性完全押注在”模型每一次都做出正确判断”上。

而随着系统逐渐成熟，工程师通常会做完全相反的事情：

把模糊输入变成固定字段；把自由输出变成结构化结果；把容易出错的判断变成规则；把失败情况纳入重试与回退；把高风险操作放到模型之外进行验证。

也就是说，系统越成熟，越不会把所有希望寄托在模型的临场发挥上。

真正的AI工程，不是让模型变得无所不能，而是让系统越来越不需要依赖模型的偶然聪明。

模型依然重要，但它只是整个系统中的一部分。数据、提示词、规则、工作流、校验机制和人工边界，共同决定最终结果。

这一点对大模型和小模型是同等成立的。用小模型缺乏工程，会得到一个既不聪明也不稳定的系统；用大模型缺乏工程，只会得到一个更贵、更难排查、同样不稳定的系统。参数可以掩盖问题，但掩盖不了很久。

八、本地模型的终点，不是复制一个本地ChatGPT

很多人部署本地模型，第一件事是打开聊天界面，然后比较它和在线大模型谁更聪明。如果回答不如ChatGPT，就认为本地模型没有价值。

但本地模型真正的优势，从来不是复制一个能力稍弱的聊天机器人。

它的价值在于：可以训练，可以固化版本，可以控制数据，可以嵌入程序，可以批量运行，可以反复测试，可以形成自己的语言风格，可以与内部系统和生产流程深度结合。

当模型进入这些场景，它就不再只是一个聊天对象，而是一个可以被训练、替换、组合和约束的工程部件。

对企业来说，这才是关键：不是在自己的机房里拥有另一个ChatGPT，而是拥有一个可以逐渐适应自身业务的模型能力层。

九、从追求最大模型，到寻找最合适的模型

我并不否认大模型的价值。面对开放问题、复杂推理、陌生领域和模糊需求时，大模型仍然拥有明显优势，模型规模带来的能力提升是真实存在的。

但当AI真正进入生产环境，问题就不再只是”哪个模型更聪明”，还要回答：

它是否稳定？是否可控？是否符合业务语言？是否能批量运行？是否容易测试？是否知道自己的边界？是否值得为每一次调用支付更高成本？

最终决定系统质量的，往往不是模型能力的最高点，而是模型、数据、流程与边界之间的配合程度。

普通用户追求更大的模型，是希望模型替自己把问题想明白；而真正开始建设AI系统的人，会先把问题想明白，再把它交给最合适的模型。

会使用大模型，不等于会建设AI系统。前者依赖模型的聪明，后者负责定义模型不需要聪明的部分。

AI行业或许仍会继续追逐更大的参数、更高的榜单和更强的通用能力。但在真正的生产环境里，决定价值的从来不是模型的大小，而是工程的深度。

未来拉开差距的，不是谁用上了更大的模型，而是谁更早把AI当成一项工程，而不是一次采购。