^__^ • 5 / 01
看起来 Karpathy 给出了三条线索，说实话挺牛今天看了 Andrej Karpathy 的一篇文章，写的是他的一次炉边谈话的要点。我觉得他给出了三条线索，还挺有启发的。以下是我整理的中文版，分享给读者：我想强调的第一个线索是，LLM 的意义远不止加速已有事物（比如编程）。这是三个新领域的例子： 1、menugen（应该是 AK 之前做的一个 App）：一个可以被 LLM 完全吞没的应用，不需要任何经典代码：输入一张图片，输出也是一张图片，LLM 可以原生完成这件事，根本不需要 App。 2、用 .md 技能代替 .sh 脚本：为什么还要写一个复杂的 Software 1.0 bash 脚本来安装某个软件？直接用文字描述安装过程，告诉你的 LLM "把这个给它看"就行了。LLM 是一个高级的英语解释器，可以智能地适配你的安装环境、即时调试一切等等。 3、LLM 知识库：这是一个用经典代码不可能实现的例子，因为它是针对非结构化数据（知识）——来自任意来源、任意格式，包括纯文本文章等——的计算。（之前 AK 基于 md + 图片 + wiki + llm 构建知识库的理论和实践）我之所以强调这些，是因为在每一次新的范式变革中显而易见的东西往往都是在加速或改进已有的事物，但实际上我们看到了上面这些例子，你会发现，有些东西根本不该存在了（1、2），有些在以前则根本不可能实现（3）。第二个（持续进行中的）线索是试图解释 LLM 能力"参差不齐"（jaggedness）的模式。为什么同一个产物可以一边连贯地重构一个 10 万行代码库，一边又让你走去洗车行洗车（被人类嘲笑的步行洗车问题）？我之前写过这源于领域的可验证性，这里我进一步补充说这还与经济因素有关，因为收入/TAM 决定了前沿实验室选择在 RL 阶段打包进训练数据分布中的内容。你要么在数据分布中（在 RL 电路的轨道上）飞速前进，要么在丛林里用砍刀开路。相对而言，还是那句话。我对目前这个解释还不完全满意，但这是一个持续的挑战——如果你想实际利用 LLM 的力量同时避开它们的陷阱，就需要建立一个对 LLM 能力的准确心智模型。这也引出了……最后一个线索是 Agent 原生经济。产品和服务如何分解为传感器、执行器和逻辑（分散在 1.0/2.0/3.0 计算范式中），我们如何让信息对 LLM 最大化地清晰可读，快速兴起的 Agent 工程及其技能组合，一些相关的招聘实践等等，甚至可能涉及完全由神经网络处理大部分计算、而由（经典）CPU 作为协处理器辅助的梦想/暗示。