暗无天日

=============>DarkSun的个人博客

AI 交互的真正瓶颈:读输出的维度决定了你能控制多少

两年前我在博客里写过几篇讨论 AI 反馈的文章,核心就两句话,反馈是必须的,反馈循环有五个步骤。但有一个问题我一直没深究。"认真看 AI 输出"这一步,里面到底发生了什么?同样都是"看一眼",有人能发现结构跳步、逻辑漏洞、事实编造,有人只能看出"好像还行"。差距在哪?

同时,整个 AI 圈的注意力都放在 prompt 工程上,怎么写指令、怎么加 few-shot、怎么调格式。但如果你把 AI 交互画成反馈控制回路,写 prompt 只是"发出控制信号"这一步。真正决定系统性能的,是反馈信号的质量。而反馈信号的来源只有一个,你读输出。

我真正想聊的是这个被忽略的环节,读 AI 输出的时候,你脑子里应该打开几个通道?

只有一个观测口

大语言模型是一个黑箱。你不能查看它的中间层激活值,不能单步调试它的推理路径,不能 dump 它的"知识库"来确认某个事实是不是真的在里面。你唯一能看到的东西,就是它输出的文本。

这个限制比看上去更严重。一个传统的软件系统,出了 bug 你可以加日志、打断点、查堆栈,你有多个观测口来定位问题。但和 AI 打交道,你只有一个观测口,输出。而且这个观测口给的信息很有限。模型可能给出了正确答案但推理过程是错的,也可能推理看起来严密但结论是编的,你光看输出区分不了。

这就是为什么"读输出"不是简单的"看一遍"。你只有一个数据源,却要从里面提取出足够多的信息,来判断模型当前的状态,它是靠谱的、还是已经跑偏了的。这种能力说到底是在对一个黑箱做状态估计。

读的维度决定了你的控制精度

控制论里有一条 Ashby 必要变异性定律(Law of Requisite Variety),它是这套学科里最根本的结论之一。简单说,要控制系统 A,控制器 B 的多样性不能低于 A 的多样性。用白话讲就是,如果你的工具箱里只有一把锤子,那所有问题看起来都像钉子,而且钉子稍微变形你就没辙了。

把这个定律套到 AI 交互上看看。

大语言模型的输出空间几乎是无限的,它能写诗、写代码、写合同、写论文、编段子,而且每个领域内的输出变化也比人预想的要大得多。但你控制它的"工具"是什么呢?大多数人只有一根标尺, 这段看起来顺不顺 。就这一条。

所以呢,你的控制器多样性极低,只有一个维度。而你要控制的对象(AI 的输出空间)多样性极高。Ashby 定律说,这种系统不可能被有效控制。问题不在你的工具好不好,在于你拿来判断的维度太少。

反过来,如果你读 AI 输出时能同时打开多个维度,比如他说的是不是真的(事实维度),推理有没有跳步(逻辑维度),输出的结构到底合不合理(结构维度),边界情况有没有覆盖到(完备维度),还有这回答太顺了该不会是在迎合我吧(怀疑维度)。

每多一个维度,你的控制器就多一个自由度。控制器的变异性就提高一截,就能收窄和 AI 输出多样性的差距。

有个容易被忽略的点。多开一个维度,不只是多了一条检查标准。不同维度观察到的信息是正交的,结构上看起来完美的方案可能在事实上完全是编的;逻辑上严密的推理可能建立在错误的假设上。多维度观测真正值钱的地方不在加法,在于你可以交叉验证。

Ashby 定律在 AI 场景下的推论很直接, 读输出的维度决定了你对 AI 输出的控制精度。 读的维度越少,你的反馈信号越单一,整个系统就越接近只有一个观测值的控制器在控制无限维度的系统,这从原理上就不可能做好。

六个读的维度

上面这些说起来有点虚,拆成实际能操作的维度你会更清楚怎么用。每次拿到 AI 输出后,不要从第一句读到最后一句,按维度过一遍。

事实维度,引用的东西真的存在吗

模型喜欢编造看起来合理的东西。人名、论文标题、统计数据、API 函数名,都是常见的编造对象。逐个验证可以验证的引用。

逻辑维度,推理链有跳步吗

AI 输出经常看起来逻辑严密,但仔细看会发现中间有隐含假设被当作已知条件跳过了。每一段"因此"前面,确认前提是不是真的成立。

结构维度,这个框架真的合理吗

很多时候 AI 给的结构"看起来像那么回事",但经不起推敲。比如给了你一个分三层的工作流,但层和层之间的边界模糊,或者第二层和第三层的职责重叠。结构上的问题单独看每句话都对,拼起来不对,需要你从远处审视骨架。

完备维度,边界情况覆盖了吗

AI 倾向于给出最典型的路径,忽略异常情况和边界条件。问自己,输入为空会怎样?网络断了会怎样?数据量超出预期会怎样?权限不足会怎样?这些不在典型路径里,但生产环境一定会遇到。

怀疑维度,这也太顺了吧

这是最容易被忽略的维度。一段输出如果读起来极其顺畅、完美无瑕、刚好命中你的预期,它很可能是在迎合你,讨你喜欢。模型的训练目标包括让输出"讨人喜欢",所以它倾向于顺着你说。故意找茬,找它回答里站不住脚的地方,是重要的反制手段。

偏差维度,它在刻意回避什么

模型有自己的安全训练约束。有时候它不会直接告诉你"我不能回答这个问题",它会绕着说、说一半、或者给一个安全但不完全真实的答案。留意那些被轻描淡写带过的段落、被选择性忽略的角度、被模糊处理的数据。

把"读输出"从一条模糊的"看一眼"拆成这六个维度,每一次阅读都可以有意识地往某个维度聚焦,而不是笼统地"看一遍"凭感觉。不同场景侧重点不同,代码输出盯逻辑和完备,研究报告盯事实和偏差,方案设计盯结构和怀疑。关键是知道自己在用哪个维度读。

读的维度 vs Prompt 工程

回到开头的问题,为什么整个行业在 prompt 工程上投入那么多,效果却不理想?

用 Ashby 定律来看,prompt 工程说到底在优化一个东西,控制信号(你发出的指令)。不管你写的是 20 字还是 2000 字的 prompt,不管你是用了 chain-of-thought 还是 few-shot,优化控制信号只提升了一个自由度,把需求表达得更精确。这当然有用。但当你的控制信号越来越精确,而反馈信号始终只有"好像还行"这一个维度时,系统性能的瓶颈其实是反馈信号,不是控制信号。

你花一万小时学 prompt 工程,不如花一百小时练习怎么读输出。这话听着有点鸡汤但它是控制论的逻辑推导。反馈信号的维度决定了你的闭环系统能收敛到什么精度。

总结

总而言之。大模型是黑箱,输出是你唯一的观测口,读输出的质量直接决定你对 AI 行为模型的精度。Ashby 定律告诉我们,读的维度必须匹配 AI 的复杂度,一个维度根本不够。我给了六个维度,事实、逻辑、结构、完备、怀疑、偏差。Prompt 工程优化的是控制信号,读输出优化的是反馈信号,而反馈信号的质量才是闭环系统的真实瓶颈。

还是那句话,问题不是读不读,人一定会读。问题是你只开了几个通道在读?

AI : 控制论 : 反馈 : prompt工程