Andrej Karpathy 现在成了一个超级 AI 明星。他最近主推的一个 LLM+ MD + Wiki 的个人知识库特别火，很多人根据他的理论做了自己的知识库。AK 是这么描述这件事的：“最近我发现一件非常有用的事情：用 LLM 来为自己感兴趣的研究主题构建个人知识库。这样一来，我最近大部分的 token 消耗，不再是用来「操作代码」，而是用来「操作知识」（这些知识以 markdown 和图片的形式存储）。最新的 LLM 在这方面已经相当好用了。所以我的做法是这样的：我先把各种源文档（文章、论文、代码仓库、数据集、图片等）索引进一个 raw/ 目录，然后用 LLM 逐步「编译」出一个 wiki，也就是一组按目录结构组织起来的 .md 文件。这个 wiki 里包含了 raw/ 里所有数据的总结、反向链接，然后还会把数据归类到不同概念下，为这些概念撰写条目，并把它们全部串联起来。为了把网页文章转成 .md 文件，我喜欢用 Obsidian Web Clipper 插件，然后我还会用一个快捷键把相关图片都下载到本地，这样我的 LLM 就能更方便地引用这些图片”。大概就这么回事。以前做知识库，后台得接一套工业系统，比如墨问时间知识库，就用了火山的知识库、向量库等技术，也就是人们常说的 RAG，其实还是挺好用的，就是需要依赖第三方平台，否则你就得自己做向量数据库了，对吧？现在 AK 这套理论让你把一堆文本和图片丢给大模型，让大模型自己做索引和构建，做成 MD + Wiki 再用一些类似 OB 的软件做展示，就可以直接阅读和提问。我看过不少人做出来的样子，很像墨问时间知识库的一个玩具版本，但确实可用。为什么以前做知识库都要用 RAG 呢？因为 RAG 显然更精确，并且支持超大规模的数据。现在能基于 Markdown 和图片做自己的知识库，一方面是自己用，另外核心原因是模型能力进步了。在中小规模的数据集上，LLM 本身已经具备足够强的检索和组织能力。换句话说，很多过去需要靠精心设计的工程系统来完成的事情，如今可以直接交给模型本身去做。模型能力吞噬软件，一点也不假。为了完善这套系统，AK 还设计了一些运维机制和信息补全的能力，不过这些不重要，重要的是，我们会发现，模型能力越强，吞噬的软件能力也就越多。不过目前，对于精确的规模性和工程化的知识库产品，我还是推荐使用 RAG 能力。我自己对 AK 这套理论和实践一点不陌生，是因为我在 3 月底就用类似的方式通过 CC 把墨问创作指南做成 Skill 知识库了。我的实践：Andrej Karpathy 的这招我早就用过了