--- title: "同一个月，两条路：GPT-3 与 RAG" description: "同一个月，一条路把知识背进更大的参数，另一条路把知识留在外面、回答时取来。" --- ## 这一页为什么在这里 把 Q04 的 A 和 C 落到同一个月的两篇真实论文上：GPT-3（5 月 28 日）押参数，RAG（5 月 22 日）押回答时去取。学生要看清 RAG 改变的只是“这一次的输入”：参数不动、文档库不动，取回的段落被放进输入。也为下一页埋下问题：RAG 说它的知识来自外面，凭什么信？ ## 上屏 - 第 1 步：时间轴：2020 年 5 月，5 月 22 日 RAG、5 月 28 日 GPT-3。左栏「闭卷：知识进参数」（GPT-3，2020-05-28）：问题“谁是美国总统？”→ 模型（1750 亿参数）→ 答案来自参数；一行：要更新只能再训练，说不出出处。 - 第 2 步：右栏「开卷：回答时去取」（RAG，2020-05-22）：问题 → 检索器 DPR 从 2018 年 12 月维基百科的 2,100 万段（每段 100 词）里取出最相关的几段 → 示意段落“……美国第 45 任总统……”→ 段落和问题一起交给生成器 BART（约 4 亿参数）→ 答案。一行：文档库不动，参数不动，变的只是这一次的输入。 - 第 3 步：两栏下各加标签：参数记忆｜非参数记忆；一行：这份外部记忆人能读，也能改。 ## 讲 ### 第 1 步 · 教师可说的话 知识进入参数 5 月 28 日，GPT-3 发表：1750 亿参数，靠规模把更多知识背进参数。 #### 指图与比较 沿左栏的问题、1750 亿参数的模型与来自参数的答案，指出更新和出处的限制。 ### 第 2 步 · 教师可说的话 材料副本进入输入 六天前，5 月 22 日，另一篇论文提出 RAG：回答之前先去维基百科检索几段，把副本和问题一起放进输入，再生成。注意看：书架上的原件还在，模型的参数没变，变的只是这一次托盘里多了什么。 #### 指图与比较 沿右栏的问题、检索、段落框与 BART 生成器向下读，注意底部写明文档库和参数不动。 ### 第 3 步 · 教师可说的话 参数与非参数记忆 论文把这两种叫作参数记忆和非参数记忆。它还专门写了一句：这份外部记忆是人能读、也是人能写的，改书架就能改模型用的知识。记住这一点，后面讲记忆时会用到。 #### 指图与比较 对照两栏底部的参数记忆、非参数记忆，再指向论文第 5 节的可读可改一句。 ### 本页衔接 说“知识来自外面”，凭什么？他们做了一个很干净的实验。 ### 连续教师稿原文 5 月 28 日，GPT-3 发表：1750 亿参数，靠规模把更多知识背进参数。 六天前，5 月 22 日，另一篇论文提出 RAG：回答之前先去维基百科检索几段，把副本和问题一起放进输入，再生成。注意看：书架上的原件还在，模型的参数没变，变的只是这一次托盘里多了什么。 论文把这两种叫作参数记忆和非参数记忆。它还专门写了一句：这份外部记忆是人能读、也是人能写的，改书架就能改模型用的知识。记住这一点，后面讲记忆时会用到。 ## 完整推理 **两种押法。** GPT-3 用 1750 亿参数把知识压进权重，靠少样本提示完成各种任务，不用外部资料。RAG 由两部分组成：检索器 DPR 把问题编码成向量，从约 2,100 万段维基百科（2018 年 12 月版，每段 100 词）里取出最相关的几段；生成器 BART-large（约 4 亿参数）把问题和取回的段落拼在一起，生成答案。RAG 把这两部分叫作参数记忆（生成器的权重）和非参数记忆（文档索引）。 **RAG 的训练与回答。** 训练时，RAG 只微调问题编码器和 BART 生成器，文档编码器和索引保持固定；回答时从索引里取前若干段，对每一段生成，再把结果合并。所以“RAG 不训练”不对；但取到的段落内容可以随时换，不用重新训练。这就是下一页换索引实验的前提。 **为什么作者强调“人能读、能改”。** 原文说，这份记忆由原始文本组成，不是分布式的表示，所以人能读（带来一种可解释性），也能改（编辑文档索引就能更新模型的“记忆”）。参数记忆做不到这两点。 **这一页还没回答的。** RAG 在开放域问答上的分数比只用参数的模型高，不等于它的答案靠的是取回的段落：可能模型本来就知道，检索只是提了个醒。这就是 Q06 要学生设计检验的问题。 ## 学生可能的回答与误区 - 第 2 步｜“RAG 不训练，只是在前面加了个搜索。”原论文联合微调了问题编码器和生成器，只是文档编码器和索引固定；换索引那一下（Q07）才是不重新训练。 - 第 2 步｜“取回的段落就是答案的来源。”取回只说明段落进了输入；模型是不是依赖它，要靠干预来证明（Q06）。 - 第 3 步｜“非参数记忆就是数据库。”这里指的是可检索的原始文本索引；它能被人读和改，正因为它是文本，不是参数。 - “GPT-3 和 RAG 是竞争关系，后者赢了。”两者押的是不同的事：GPT-3 展示规模带来的通用能力，RAG 展示把知识放在外面的好处；今天的系统常把大模型和检索合用。 ## 教学构造与出处 - 教学构造：问题“谁是美国总统？”和示意段落“……美国第 45 任总统……”是为画面编的例子，不出自原文。 - [RAG · §2 模型与训练、§3 实验设置、§5 Related Work · Memory-based Architectures](https://arxiv.org/abs/2005.11401)：arXiv 2005.11401，v1 2020-05-22，读的是 v4（2021-04-12）。§2.3 生成器是 BART-large（400M 参数）；§2.4 训练时固定文档编码器与索引、只微调问题编码器和 BART；§3 维基百科 2018 年 12 月版、100 词一段、共 2,100 万段；“人能读、能改”在 §5。来源支持。 - [GPT-3 · Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)：arXiv 2005.14165，v1 2020-05-28；1750 亿参数。 [在课堂中打开](/slides/gpt3-vs-rag)