暗无天日

=============>DarkSun的个人博客

TIL: George Hotz 说 AI agent 永远学不会编程

来源:The Eternal Sloptember(George Hotz,2026-05-24)

George Hotz(网名 geohot),第一个越狱 iPhone 的高中生、comma.ai 创始人、tinygrad 作者。他花了半年用 agent 写代码(tinygrad 部分、逆向 USB-PCIe 芯片),最后下了个判断:把 AI agent 引入软件开发,会成为这个领域历史上代价最大的错误之一。

agent 是统计模型,不是程序员

agent 背后的大语言模型是高度复杂的统计模型,它模仿的是"编程这件事的分布",而不是真的在做编程。生成出来的代码是有毛病的,只是毛病越来越难被发现。统计模型越精确,模仿得越像,毛病就越难看出来。

geohot 对 agent 工作模式的描述:agent 把所有进展堆在前期,然后递给你一个老虎机的拉杆,让你不停地拉,指望它把最后的打磨做对。它永远差那一点。

过程-产物假说:旧的质量判断指标失效了

人看到一个产物(一段代码、一个文档),会下意识地认为:这东西语法没错、读起来通顺,那它背后应该有一个人类想清楚的过程。

但 AI 产物不是由和人类相同的过程产生的。以前你看到一段代码语法干净、注释通顺,可以合理推断"写这段代码的人想清楚了"。现在不能了。一段看起来很干净的代码,可能背后根本没有想清楚,只是统计模型模仿得足够像。这种"看起来对、实则没想清楚"的代码混进代码库,后面要在它之上继续构建的人会踩雷,而且很难定位。

谁受伤最深:大组织

高性能的人纠错能力强,能学会识别 slop(看起来像对的、实则错的 AI 产物),不会真的放弃逐行阅读和理解代码。

大组织是另一回事。人和人之间的差距非常大,底部的人没有自我检查能力,而他们恰恰是被 agent 放大产出最多的人。产出 slop 最多的人看不出 slop,产出还被放大了 10 倍,组织的平均输出质量只会往下走。

geohot 的原话:

It is a golden era for buckets and buckets of slop, and a dark age for gems of quality.

这是 slop 漫山遍野的黄金时代,是质量的黑暗时代。

出路:世界模型,不是统计模仿

geohot 转向了 LeCun/Marcus 阵营(Yann LeCun,Meta 首席 AI 科学家;Gary Marcus,长期批评 LLM 的 AI 学者)。他认为像现在这样的模型永远学不会编程,因为编程不只是最终输出一段代码,编程时的思考过程(搞清楚问题、推理论证、反复验证)本身就不可跳过。没有这个过程,输出再像样也经不起推敲。真正的编程 agent 需要的是世界模型(world model,对世界因果结构的内部表征),不是他讽刺的那种 RLVR:

not some RLVR shit that comments out the failing test and tells you all the tests are now passing.

RLVR 是用"可验证的奖励"做强化学习(比如用测试通过作为奖励信号)。当你用"测试通过"作为奖励信号,agent 学到的可能不是"把代码写对",而是"把测试搞到通过"。而把测试搞到通过的最快方式,就是让测试不再运行。

AI : LLM : agent : slop : TIL