大模型商业演进 · #6
用好 LLM 先看懂它:看的是全局分布,压的是规律
想从 LLM 榨出高质量成果,别急着换模型、改 prompt。先看懂它的两条本性——靠海量算力看见的是全局统计分布与它的边缘,参数压缩的是规律而不是数据本身。顺着这两条,四步把它用准;Harness 与 Data 只是辅助线。
TL;DR
想从 LLM 榨出高质量成果,别急着换模型、改 prompt,先看懂它的两条本性。认知一(Rich Sutton 的《苦涩的教训》):你的经验只是分布里极小一撮样本,模型靠海量算力看见的是全局统计分布结构,连同它的边缘。认知二:参数压缩的是规律,不是数据本身,模型内部是一张规律坐标系,不是资料库。顺着这两条,四步把它用准——让问题落在稠密数据区、把目标说明确到能锁定坐标、备一个可靠的验证信号去伪存真、判断落没落在分布内来定置信度;再把验证为真的结果回灌成越用越准的资产。Harness 与 Data 只是辅助线,主线是这台机器的本性。
核心论点
- 用好 LLM 的前提是看懂它的核心运作机制;Harness 与 Data 是辅助线,不是主线
- 认知一(Sutton《苦涩的教训》):个人经验只是分布里极小样本,模型靠海量算力看见全局统计分布结构及其边缘
- 认知二:参数压缩的是规律而非数据本身,模型内部是一张规律坐标系,不是资料库
- 四步操作序由两条认知直接推出:稠密数据包裹问题、明确目标锁定坐标、可靠验证信号去伪存真、判断分布内外定置信度
- 验证远比生成便宜,把验证为真的结果回灌成奖励与资产,有验证信号的领域才滚出复利
- 最隐蔽的塌陷是目标量错:代理指标等于给模型一个错坐标,它会精准落到错的点上
一、换个问题:先看懂这台机器,再谈怎么用好它
你大概经历过这个场景。同一个任务,换上业内最强的模型,得到的东西却半生不熟;再改改 prompt、加一句“请一步步想”,好一点,但离“能直接用”还差一截。于是你开始等下一代模型。
这条路会一直让你失望。原因不在模型不够强,而在你没看懂手里这台机器怎么运作——不懂它,你每一次用力都可能用错方向。
系列前作把一套 AI 系统拆成三层:LLM 是智力,Harness 是执行系统,Data 是资产。另一篇追问了为什么同一代模型在不同领域结果天差地别。这一篇把镜头对准最核心的那一层——LLM 本身怎么运作,再从它的运作机制里,推出一套能稳定拿到高质量结果的用法。Harness 和 Data 这一篇也会讲,但只作为辅助线;主线是这台机器的本性。
先给两条认知。它们不玄,但你懂不懂、信不信,直接决定你会把力气花对还是花错。
二、认知一:模型看的是全局分布,你看的是个人经验
Rich Sutton 有一篇被反复引用的短文《苦涩的教训》。它的结论朴素得让人不舒服:AI 七十年历史里,真正笑到最后的,几乎总是那些能吃下海量算力的通用方法(搜索与学习),而不是人类精心塞进去的领域知识。人把自己的经验和直觉编码进系统,短期领先;算力一上来,通用方法就反超。
把这条翻译成“你该怎么理解 LLM”:
你的经验,是这个世界的分布里极小的一撮样本。你读过的书、见过的案例、踩过的坑,再多也是局部的。而模型靠海量算力和数据,把一撮撮样本汇成了一整张图——它看见的是全局的统计分布结构,连同它的边缘。
所以模型的强,不在“局部比你聪明”,而在“见过的分布比你大得多”。它能把你没串起来的模式串起来,因为它站在一个你个人经验到不了的全局视角上。
但同一句话反过来,就是它的弱:它的能力,牢牢锚在它见过的分布里。 分布中心稠密的地方,它稳如老手;边缘稀疏、甚至分布之外的地方,它开始猜——而且猜得和答得一样自信。记住“它连边缘一起看见了”这件事,后面判断置信度全靠它。
三、认知二:参数压缩的是规律,不是数据本身
第二条更反直觉,却是前一条的地基。
模型的参数,远远装不下训练用的那些数据。它装得下的,只有“能把这些数据重新生成出来的规律”。
举个最小的例子。要预测“手一松,苹果就会___”的下一个词,最省参数的办法,不是把见过的每一句话逐字背下来,而是在内部内化“重力”这一条规律——因为同一条规律,能同时解释成千上万个句子。压缩的压力,逼着它去提炼规律;逐字背诵原文,反而更费参数。
这条认知的含义很大:模型内部不是一个资料库,而是一张“规律的坐标系”。 你给它一个问题,它在这张坐标系里定位、组合、外推,把答案现场拼出来。这就是为什么它能说出训练材料里从没逐字出现过的话——它在规律之间插值。
也正因如此,“把目标说清楚”才这么关键:你得把问题描述到能在这张坐标系里锁定一个点。目标含糊,它就落在一片模糊地带,给你一个平均意义上像样、具体场景里不对的答案。
四、从两条认知,推出四步操作序
两条认知立住了,“怎么用好它”就不再是玄学,而是四个能照着做的动作。
每一步,都是前面两条认知的直接推论:
| 操作步 | 来自哪条认知 | 具体做什么 |
|---|---|---|
| 让问题落在稠密数据区 | 认知一:看的是全局分布 | 把任务放到模型见得多的地方;冷门角落,先把上下文补稠 |
| 把目标说明确 | 认知二:压的是规律 | 说清到能在规律坐标系里锁定一个点,别留模糊地带 |
| 备一个可靠的验证信号 | 外部关卡(Harness 一职) | 用测试、真实数据或专家复核,把“像对的”和“真对的”分开 |
| 判断落没落在分布内 | 认知一 + 二 | 靠近边缘就调低置信度,触发复核或换个做法 |
- 第一步,让问题被稠密数据包裹。 认知一说它看的是全局分布,那你就把问题放进分布里稠密的地方——它见得多,答得才准。私有的、冷门的问题,先用检索、上下文把周围填稠,等于把一个分布外的问题,搬回分布内。这是 Data 这条辅助线的活。
- 第二步,把目标说明确。 认知二说它内部是规律坐标系,那你就得给足坐标——要什么、不要什么、边界在哪,说清楚,让它精准落点,而不是落在一片平均地带。
- 第三步,备一个可靠的验证信号。 模型分不清自己“像对的”还是“真对的”,那就从外面加一道关卡:单元测试、跟真实数据核对、专家复核、真实实验,去伪存真。
- 第四步,判断任务落没落在分布内。 认知一说它连边缘一起看见了,那你就反过来用这一点估置信度:问题落在分布中心,放心用;贴近边缘或越界,调低置信、触发复核。这一步是把前三步串起来的元动作。
这里要拆掉一个容易生的歧义:第三步的“验证信号”只是 Harness 的一个职能,不等于 Harness 本身。Harness 是整个执行系统——工具调用、流程编排、权限、状态、审计、人机交接,验证只是其中一环(完整拆解见系列前作)。这一篇为了讲清 LLM 机制,只借了它“验证”这一只手。
五、第五步(可选):把验证为真的结果,回灌成奖励
前四步能让你拿到一次高质量结果。要让系统越用越准,还有第五步。
它建立在一个根本的不对称上:验证,远比生成便宜。 想出一个证明极难,检查它对不对却机械可行;写对一个补丁很难,跑一遍测试只要几秒。既然验证这么便宜,被验证为真的结果就可以直接当奖励,回灌给模型——数学、代码、蛋白设计这两年能力暴涨,走的都是这条路(证据见系列前作《AI 的本质》)。
对没在训模型的多数团队,这一步的落地版本是:把每一次“候选—验证—采纳或否决”都记下来,沉淀成资产。对的、错的、人工改了什么、结果何时反转,都进 Data 层,喂进下一轮的上下文和判断。有验证信号的领域,会滚出复利;没有的,只能停在“听起来很像对的”。这是 Data 这条辅助线的另一头。
六、最隐蔽的塌陷:目标量错了,它就落到错的坐标上
第二步“把目标说明确”,有一个伪装得极好的失败版本,值得单独拎出来。
推荐系统和内容生成最典型。数据稠密、反馈即时、验证信号现成(点没点、停了多久、完播没有),四步看着全占。但它常年翻车在目标上:系统拼命优化的是“可测量的代理指标”——点击、停留、完播这类好测、却会跟真实目标跑偏的数字——而这跟你真正想要的东西(用户的长期价值、内容生态的健康)并不是一回事。
用认知二的话说:目标量错了,等于给了模型一个错的坐标,它就精准地落到那个错的点上。 于是同一套能力,既能命中兴趣,也能把人推进信息茧房,把注意力榨到体验受损。这最危险,因为它一路绿灯:指标一直涨,仪表盘一片好看,直到你发现涨的那个数字,和你真正在乎的结果早就分了家。
所以第三步的验证信号,不能随手抓个好测的指标充数。你得先诚实回答“什么才算做好了”,再去搭验证它的东西。对做教育的我们,这一条最具体:不能把“替孩子交一份更漂亮的答案”当成学会了,那只是把完播率换了个名字。真正该验的,是把工具撤掉之后,孩子还能不能自己解释、迁移、反驳、独立完成。
七、这套用法的边界
一套用法值不值得信,要看它敢不敢说自己在哪里会失效。
“分布内插值”是工程抽象,不是全部真相。 如果一个系统给出了人类八十年没找到、又经核验为真的数学构造,还硬说它“只是在重组见过的模式”,这话就开始像耍赖。所以这篇站得住的那句,是可检验的那句——模型的表现锚定在训练分布内;至于“它算不算真的理解”,没有实验能判定,我不在这上面下结论。
两段式切分也不万能。“生成 + 验证”是个好用的抽象,却不是所有任务都能干净切开。端到端控制、连续决策里,每个动作都在改变环境,没有一个静止的候选等着被验证。
还有一层反身性得挂在明处。 写这篇“怎么用好 AI”的,本身就是一个 AI,这段自我描述也是一次分布内的补全。所以请把它当成一个值得压力测试的操作假设,而不是一份来自内部的权威判决。给它一个明确的反证:谁能在数据稀疏、没有验证信号、且真正越出分布的任务上,持续拿出高质量结果,这套用法就该被推翻。
八、结论:先顺着本性,再谈技巧
把整篇压成一句话:
它看的是全局分布,压的是规律;顺着这两条用,质量才稳。
模型会继续变强、变便宜、人人可得。真正拉开差距的,不是谁的 prompt 写得花,而是谁看懂了这台机器的本性,并顺着它搭起自己的用法:把问题放进稠密分布、把目标锁进规律坐标、给可疑输出加一道验证、在分布边缘老实调低置信度,再把验证结果回灌成越用越准的资产。
所以下次输出质量不行,先别急着换模型。回头问四个问题:问题落在它见得多的地方了吗?目标说清到能锁定坐标了吗?错误有没有一道关卡拦着?这次的问题,是不是已经贴到了它经验的边缘?
看懂它,你能持续从 LLM 手里榨出高质量成果;不懂它,你收获的会是一堆穿着正确外衣的、自信的错误。
参考信号
- Rich Sutton:The Bitter Lesson(苦涩的教训)
- 系列前作:Agentic AI 的真实架构:LLM 是智力,Harness 是执行系统,Data 是资产
- 系列前作:AI 的本质:模型生成候选,系统筛出可信结果(天气、材料、医疗、自动驾驶、教育、软件六个案例的证据与出处均在此文)