最近,你可能经常在网上看到两个词:RAG 和 LLM Wiki。
有人说 RAG 可以让 AI 读取自己的文档,有人说 LLM Wiki 可以让 AI 建立自己的知识库,还有人讨论 LLM Wiki 能不能取代 RAG。
它们究竟是什么?有什么区别?普通人有必要了解吗?
其实,这两个概念都和一件事有关:
怎样让 AI 不只是回答问题,还能利用我们提供的资料,并且更好地整理和积累知识?
这篇文章不需要你了解编程,也不需要你有 AI 技术基础。我们用一个简单的例子,从头理解 RAG 和 LLM Wiki。
一、先从一个生活场景说起:怎样让 AI 了解你收集的资料?
假设你最近准备装修房子。
为了做好装修功课,你在网上收集了几十篇文章,包括:
- 装修预算怎么安排?
- 地板和瓷砖应该怎么选?
- 墙面材料有哪些区别?
- 厨房应该怎样设计?
- 灯光布局有哪些讲究?
- 装修过程中有哪些容易踩的坑?
这些文章散落在 PDF、网页、Word 文档和笔记里。
你希望 AI 能够阅读这些资料,帮你解决装修过程中遇到的问题。
例如,你问它:
「装修时,乳胶漆和艺术漆有什么区别?」
AI 应该能够从你收集的资料中找到相关信息,再回答你。
接着,你又问:
「如果家里有小孩,墙面材料应该怎么选?」
AI 也应该能够结合之前收集的装修资料,给出更全面的建议。
问题来了:怎样才能让 AI 做到这件事?
一种常见的办法是 RAG,另一种受到关注的思路是 LLM Wiki。
虽然两者都能帮助 AI 利用外部资料,但它们处理知识的方式并不一样。
我们先从 RAG 开始。
二、RAG 是什么?简单来说,就是让 AI 先查资料,再回答问题
RAG 是英文 Retrieval-Augmented Generation 的缩写,中文叫作「检索增强生成」。
这个名字虽然有点复杂,但它的原理很好理解:
你提出问题后,AI 先去资料库中查找相关内容,再根据找到的内容回答你。
你可以把它想象成一个开卷考试。
考试时,你不需要把所有资料都背下来。遇到问题,可以先翻阅相关书籍,找到需要的内容,再组织答案。
RAG 做的就是类似的事情。
1. RAG 是怎样工作的?
还是用刚才装修的例子。
假设你把收集的 30 篇装修文章交给一个 RAG 系统。
系统首先要做一些准备工作。
第一步:读取资料。
系统需要把 PDF、Word、网页等文件中的文字提取出来。
第二步:把文章拆成小段。
一篇文章可能有几千甚至上万字。如果每次提问都把整篇文章交给 AI,会占用大量上下文空间,也不利于快速找到重点。
所以,系统通常会把文章拆成很多较小的片段。
这个过程叫作 Chunking,也就是文本切片。
例如,一篇介绍墙面装修的文章,可以被拆成:
- 乳胶漆的特点
- 艺术漆的特点
- 两种材料的价格区别
- 两种材料的施工方式
- 墙面材料的选购建议
第三步:建立搜索目录。
系统会为这些文本片段建立索引,方便之后查找。
有些系统会利用 Embedding 模型,把文字转换成计算机能够比较的数字向量,从而进行语义搜索。
不过,你不需要记住 Embedding 这个词。可以简单理解为:让计算机不仅能搜索完全相同的关键词,还能找到意思相近的内容。
做完这些准备工作后,资料就可以被检索了。
2. 用户提问时会发生什么?
假设你问:
「乳胶漆和艺术漆有什么区别?」
RAG 系统会:
- 理解你的问题。
- 到资料库中查找相关内容。
- 找到介绍乳胶漆和艺术漆的几个文本片段。
- 把这些内容交给 AI。
- AI 根据找到的资料整理答案。
整个过程可以这样理解:
flowchart TD
subgraph A["资料准备阶段"]
A1["收集装修文章"] --> A2["读取文章内容"]
A2 --> A3["把文章拆成小段"]
A3 --> A4["建立搜索索引"]
A4 --> A5["等待用户查询"]
end
subgraph B["用户查询阶段"]
B1["用户提出问题"] --> B2["检索相关内容"]
B2 --> B3["将资料交给 AI"]
B3 --> B4["AI 阅读并组织答案"]
B4 --> B5["返回最终回答"]
end
A5 -.-> B2
这就是 RAG 最基本的工作原理。
3. RAG 有什么好处?
RAG 最大的价值是:让 AI 能够利用原本不在它已有知识中的资料。
例如:
你有一份只有自己能看到的装修预算表,AI 原本并不知道里面的内容。
但通过 RAG,系统可以在你提问时找到预算表中的相关信息,再让 AI 根据这些信息回答。
它还有几个优点:
- 不需要 AI 提前阅读和整理所有资料。
- 可以处理数量很多的原始文档。
- 新增资料后,可以更新搜索目录。
- 可以让回答关联到原始文档,方便核对。
当然,RAG 也有需要注意的地方。
例如,假设你今天问了一个问题,AI 结合 5 篇文章总结出了一份很好的装修建议。
明天你再问另一个问题,普通 RAG 不会因为昨天回答过问题,就自动把那份建议保存成长期知识。
它通常会根据新问题重新查找相关资料。
注意,这不代表 RAG 一定会重复阅读整套文档。实际上,它通常只会找到与当前问题相关的内容。
而且,RAG 也可以增加保存总结、长期记忆等功能,只是这些并不是基础 RAG 流程自动具备的能力。
那么,有没有一种思路,可以让 AI 不只是查找资料,还能主动把资料整理成一套知识体系?
这就引出了 LLM Wiki。
三、LLM Wiki 是什么?让 AI 阅读资料,并持续整理自己的知识库
LLM Wiki 中的 LLM,是 Large Language Model 的缩写,也就是大语言模型。我们日常使用的 ChatGPT 就属于这一类。
Wiki 这个词,你可能在 Wikipedia(维基百科)中见过。
维基百科是由大量页面组成的知识库,不同页面之间还会相互关联。
例如,搜索一个历史人物,页面中可能会链接到他所在的国家、参与的事件以及相关人物。
这些页面组合起来,就形成了一张知识网络。
LLM Wiki 借用了这种知识组织方式。
它的核心想法是:
让大模型阅读我们提供的资料,把其中有价值的知识整理成相互关联的页面,并在以后不断更新这些页面。
它不是让 AI 每次提问时都只去原始文章中寻找答案,而是先把读过的资料整理成一套可以长期使用的知识库。
1. LLM Wiki 是怎样工作的?
继续使用装修的例子。
假设你把第一篇介绍乳胶漆的文章交给 AI。
这次,AI 不只是生成一份文章摘要,而是尝试整理其中的重要知识。
比如:
- 创建一篇「乳胶漆」知识页面。
- 记录乳胶漆的特点、价格和适用场景。
- 保存这份知识来自哪篇原始文章。
- 将它与「墙面装修」等相关页面建立关联。
- 更新知识库的目录。
接下来,你又导入了一篇介绍艺术漆的文章。
AI 阅读后发现,知识库中已经有「乳胶漆」页面,也有「墙面装修」页面。
于是,它可以:
- 创建一篇「艺术漆」页面。
- 更新「墙面装修」页面。
- 补充乳胶漆与艺术漆的对比。
- 记录两篇文章中不同的观点。
- 建立页面之间的关联。
慢慢地,你的知识库可能变成这样:
装修知识库
│
├── 知识目录
│ └── index.md
│
├── 基础知识
│ ├── 乳胶漆.md
│ ├── 艺术漆.md
│ ├── 瓷砖.md
│ └── 木地板.md
│
├── 装修专题
│ ├── 墙面装修.md
│ ├── 厨房装修.md
│ └── 装修预算.md
│
└── 原始资料
├── 墙面材料选购指南.md
├── 艺术漆使用经验.md
└── 家庭装修预算攻略.md
这里的 .md 文件是一种叫 Markdown 的文本文件。你可以把它理解成一种能够保存标题、段落、列表和链接的简单文档。
2. LLM Wiki 和普通的文章摘要有什么区别?
我们做个对比。
假设你有两篇文章。
第一篇介绍乳胶漆,第二篇介绍艺术漆。
普通的 AI 摘要工具可能会这样工作:
flowchart TD
A["文章 A:乳胶漆"] --> B["AI 总结文章 A"]
B --> C["保存摘要 A"]
D["文章 B:艺术漆"] --> E["AI 总结文章 B"]
E --> F["保存摘要 B"]
C --> G["得到两份独立摘要"]
F --> G
最后,你得到两份摘要。
但它们之间的联系仍然需要你自己发现。
LLM Wiki 则希望做到:
flowchart TD
A["导入文章 A:乳胶漆"] --> B["AI 提取知识"]
B --> C["创建乳胶漆知识页面"]
D["导入文章 B:艺术漆"] --> E["AI 提取知识"]
E --> F["检查已有知识页面"]
F --> G["创建艺术漆页面"]
F --> H["更新墙面装修页面"]
G --> I["建立知识关联"]
H --> I
I --> J["形成相互关联的知识体系"]
这两种方式最大的区别是:
普通摘要更关注「这篇文章讲了什么」。
LLM Wiki 更关注「这篇文章带来了哪些新知识,以及它和已有知识有什么关系」。
3. LLM Wiki 最重要的特点是什么?
它有三个值得关注的特点。
第一,知识可以持续积累。
每次导入新资料,AI 都会检查已有页面,尽量把新知识整合进去,而不是简单地增加一份独立摘要。
第二,知识之间可以建立关联。
例如,乳胶漆、艺术漆、墙面装修、装修预算等页面可以相互链接。
当你研究一个问题时,AI 就有机会综合利用多个页面中的知识。
第三,整理成果可以长期保存。
AI 整理的内容会写入外部文件,而不是只留在一次聊天记录里。
这里有一个重要细节:
LLM Wiki 并不是让 AI 重新训练自己,也不是把新知识永久写进大模型的内部参数。
它只是让 AI 在外部维护一套知识文件。以后需要使用这些知识时,再通过搜索和读取这些文件来获取信息。
所以,LLM Wiki 更像是一个由 AI 帮你持续维护的个人知识库。
四、现在把 RAG 和 LLM Wiki 放在一起看
前面分别介绍了两种思路。
现在,我们用同一个装修场景,看看它们到底有什么不同。
假设你的知识库中已经有 30 篇装修文章。
你问 AI:
「家里有小孩,墙面装修应该选择乳胶漆还是艺术漆?」
使用 RAG 时
AI 会根据问题,到原始文章中检索相关内容。
它可能找到:
- 一篇介绍乳胶漆环保特点的文章。
- 一篇介绍艺术漆清洁方式的文章。
- 一篇介绍儿童房装修注意事项的文章。
然后把这些内容交给大模型,让它整理答案。
RAG 的重点是:当前问题需要什么资料,就去资料库中寻找什么资料。
使用 LLM Wiki 时
AI 可以先找到之前已经整理好的知识页面:
- 乳胶漆
- 艺术漆
- 墙面装修
- 儿童房装修
这些页面已经包含之前阅读资料时形成的总结和关联。
AI 可以在这些知识的基础上组织答案,必要时再回到原始文章中核对细节。
LLM Wiki 的重点是:先把资料整理成知识,再利用已经整理好的知识回答问题。
两者的主要区别
| 对比 | RAG | LLM Wiki |
|---|---|---|
| 核心思路 | 先查找相关资料,再回答 | 先整理知识,再利用知识 |
| 主要工作 | 检索资料 | 整理和维护知识 |
| 主要处理对象 | 原始文档及其内容 | 整理后的知识页面 |
| 知识是否持续积累 | 基础方案不会自动积累回答成果 | 以持续维护知识为核心 |
| 知识之间的关系 | 可以在回答时分析 | 可以提前整理并保存 |
| 常见应用 | 文档问答、企业知识查询 | 个人研究、长期知识积累 |
如果只记住一句话:
RAG 像一个随时帮你查资料的助手;LLM Wiki 像一个帮你阅读资料、整理笔记,并持续维护知识库的研究助理。
不过,这只是为了方便理解的比喻。两者并不是完全互斥的技术。
五、LLM Wiki 和 RAG 是竞争关系,还是互补关系?
这是最值得讨论的问题。
我的理解是:它们解决的问题不同,可以单独使用,也可以组合使用。
不过,不同的使用场景,适合的方案也不一样。
1. 如果只是想让 AI 查询大量文档,RAG 就很合适
例如:
- 企业有大量产品说明书,需要 AI 回答客户问题。
- 公司有很多制度文件,员工需要查询规定。
- 有大量合同、报告,需要快速查找具体内容。
- 数据不断更新,需要尽快让新资料参与查询。
这类场景通常更关注:
「我问一个问题,AI 能不能快速从大量资料中找到准确的信息?」
RAG 非常适合解决这个问题。
不一定需要提前把所有文件整理成一套完整的知识体系。
2. 如果希望 AI 长期帮你研究一个领域,LLM Wiki 更值得关注
例如:
- 长期研究 AI 技术。
- 收集大量行业文章。
- 阅读论文并形成自己的研究笔记。
- 长期整理某个专业领域的知识。
- 希望不同文章之间的观点能够建立联系。
这类场景更关注:
「我今天读到的内容,能不能成为明天继续研究的基础?」
LLM Wiki 就很有价值。
它可以把每次阅读和分析的成果逐渐沉淀下来,让知识不再只是散落在不同的文件和聊天记录中。
3. 如果既需要知识积累,又需要大量资料查询,可以结合使用
实际上,这两种思路完全可以放进同一个系统。
例如,一个 AI 研究知识库可以这样设计:
flowchart TD
A["原始资料:文章、论文、报告"]
A --> B["LLM Wiki"]
A --> C["RAG"]
B --> D["整理知识、建立关联、更新知识页面"]
C --> E["搜索原始资料、找到相关内容"]
D --> F["LLM 综合已有知识与检索结果"]
E --> F
F --> G["生成回答"]
G --> H["返回用户"]
例如:
你想了解某个 AI 技术的发展历程。
LLM Wiki 可以提供已经整理好的技术概念、发展关系和研究总结。
RAG 则可以进一步从原始论文中查找具体年份、实验数据和原文依据。
两者配合,既能利用已经积累的知识,也能回到原始资料中验证细节。
一个容易忽略的事实
LLM Wiki 本身也需要搜索和检索。
当知识页面越来越多时,AI 不可能每次都把所有页面全部读一遍。
它同样需要先通过目录、关键词搜索或其他检索方式找到相关页面。
RAG 也可以检索 LLM Wiki 整理好的 Markdown 文件。
因此,不能简单地认为:
- RAG 就只能处理原始文档。
- LLM Wiki 就完全不需要检索。
- 使用 LLM Wiki 就不需要 RAG。
它们可以在不同层面发挥作用。
六、如果我是小白,应该从哪里开始?
看到这里,你可能会问:
「我只是想让 AI 帮我整理资料,有必要学习这么多技术吗?」
其实没有必要一开始就搭建复杂系统。
我更建议先了解自己的需求,再选择合适的方式。
第一步:想清楚自己需要什么
如果你只是希望:
「我有很多 PDF、Word 文档,希望 AI 能帮我查询里面的内容。」
那么可以先了解 RAG。
如果你希望:
「我长期收集某个领域的文章,希望 AI 帮我整理概念、建立关联,并不断完善知识库。」
那么可以先尝试 LLM Wiki。
如果两种需求都有,可以先从 LLM Wiki 入手,再根据资料规模和检索需求增加 RAG。
第二步:先尝试搭建一个简单的 LLM Wiki
LLM Wiki 的一个优点是:入门时不需要复杂的技术基础设施。
你可以先准备一个普通文件夹:
我的知识库/
│
├── 原始资料/
│ ├── 文章A.md
│ ├── 文章B.md
│ └── 文章C.md
│
└── Wiki/
├── index.md
├── 知识页面A.md
├── 知识页面B.md
└── 相关主题.md
其中:
- 「原始资料」保存你收集的文章。
- 「Wiki」保存 AI 整理后的知识页面。
index.md是知识目录,方便 AI 找到相关页面。
接着,你可以使用能够读取和编辑本地文件的 AI 工具,让它帮你整理资料。
例如,你可以这样告诉 AI:
我希望建立一个长期维护的知识库。
请阅读「原始资料」文件夹中的文章,
提取其中有价值的知识。
整理时请注意:
1. 不要只生成独立的文章摘要。
2. 检查 Wiki 中是否已经有相关知识页面。
3. 已有页面优先更新,避免重复创建。
4. 将相关概念建立链接。
5. 重要结论保留原始资料来源。
6. 遇到不同文章观点冲突时,不要擅自覆盖。
7. 每次整理后更新知识目录。
请先从现有资料开始整理。
这就是一个非常简单的入门尝试。
随着资料越来越多,你可以继续让 AI 更新已有页面。
如果以后发现原始资料太多、查找效率不够,再考虑增加 RAG 检索能力。
第三步:使用 LLM Wiki 时,要注意知识质量
AI 帮你整理知识,并不代表整理出来的内容一定正确。
例如:
- AI 可能误解文章中的某个观点。
- 不同来源可能存在相互矛盾的结论。
- 新资料可能让以前的知识过时。
- AI 可能生成没有可靠来源支持的内容。
因此,建议养成几个习惯:
保留原始资料。 不要只保存 AI 整理后的知识,原始文章仍然是重要依据。
记录来源。 重要结论应该能够找到原始出处。
保留争议。 如果不同文章给出了不同结论,不要让 AI 随意选择其中一个。
定期检查。 让 AI 检查重复页面、失效链接和过时内容。
这样才能让知识库随着使用逐渐变得更可靠。
七、最后总结:应该怎样理解 RAG 和 LLM Wiki?
如果你之前从来没有接触过这两个概念,现在可以这样理解:
RAG 是一种让 AI 利用外部资料回答问题的方法。
它通常在用户提问时,先检索相关内容,再让大模型生成答案。
LLM Wiki 则是一种让 AI 持续整理和维护知识库的思路。
它会把原始资料中的重要内容提取出来,整理成知识页面,建立关联,并在新资料加入时持续更新。
两者最大的区别是:
- RAG 更关注如何找到需要的资料。
- LLM Wiki 更关注如何把资料整理成可以长期积累的知识。
它们不是非此即彼的关系。
如果你需要快速查询大量文档,RAG 很合适。
如果你需要长期研究一个领域,LLM Wiki 值得尝试。
如果两种需求同时存在,也可以让 LLM Wiki 负责知识整理,让 RAG 负责资料检索。
最后,用一个简单的比喻来结束这篇文章:
RAG 像一个图书管理员,你提出问题,它帮你找到相关书籍和资料;LLM Wiki 像一个研究助理,它不只帮你找书,还会阅读、整理、做笔记,并不断完善一套属于你的知识体系。
这就是 RAG 和 LLM Wiki 最值得理解的区别。
延伸阅读
如果你想进一步了解两者,可以从以下资料开始:
注:LLM Wiki 原始构想是一种知识库组织和维护模式,并不是某个统一的技术标准。Microsoft 的开源项目则是这一思路的一种具体实现。
评论和回复0
登录 后即可参与讨论(QQ / GitHub 一键登录,或邮箱注册)。
怎么一条数据都没有呢?