---
title: "怎么证明知识真的来自外面？你来设计"
description: "只改文档库、保持模型不动，才把知识来源落到外部材料上。"
---

## 这一页为什么在这里

“设计检验”一步，放在揭示之前：学生先当审稿人，判断哪种证据才能证明“知识来自外面”。这是全讲第一次把相关和因果分开：有检索时分数更高、注意力落在段落上，都只说明相关；只改一样东西（换文档库）、看答案跟不跟着变，才是干预。

## 上屏

- 第 1 步：题面：RAG 答对了“某国现任元首是谁”。怎么证明：答案里的知识来自外面的文档库，而不是参数？三张方案卡：A 比较有检索、没检索的分数：有检索更高｜B 看模型生成答案时，最“关注”取回段落里的哪几个词｜C 模型一点不动，只把文档库换成另一年的版本，看答案跟不跟着变。“能排除什么”一栏先空着。
- 第 2 步：每张卡补一行“能排除什么、排除不了什么”。A：说明检索有帮助；排除不了“模型本来就知道，检索只是提了个醒”，两件事一起出现，不等于谁导致谁。B：看得到相关；关注多的地方不等于答案靠它得出。C（高亮）：参数没变，只变了外面；答案跟着外面变，知识就来自外面。这是干预。

## 讲

### 第 1 步 · 教师可说的话

先选择检验方案

RAG 说它的知识来自外面。如果你是审稿人，要求作者做什么实验？三个候选，先想一分钟：哪一个真能证明？

#### 指图与比较

先选择检验方案

### 第 2 步 · 教师可说的话

比较各方案能排除什么

A 只说明有检索时分数更高，可能模型本来就知道答案，检索只是提了个醒。B 看的是注意力，关注多的地方不一定是原因。C 不一样：模型一点不动，只换外面的文档库，答案要是跟着变，知识就只能来自外面。这叫干预：只改一样东西，看结果变不变。下一页看他们真做的。

#### 指图与比较

比较各方案能排除什么

### 本页衔接

下一页看作者真正做的换索引实验。

### 连续教师稿原文

RAG 说它的知识来自外面。如果你是审稿人，要求作者做什么实验？三个候选，先想一分钟：哪一个真能证明？

A 只说明有检索时分数更高，可能模型本来就知道答案，检索只是提了个醒。B 看的是注意力，关注多的地方不一定是原因。C 不一样：模型一点不动，只换外面的文档库，答案要是跟着变，知识就只能来自外面。这叫干预：只改一样东西，看结果变不变。下一页看他们真做的。

## 完整推理

三种方案对应三种证据。

- A 是相关性比较：有检索与没检索两种条件下分数不同。它说明检索有帮助，但“帮助”有两种解释：答案里的知识来自段落；或者参数里本来就有这条知识，段落只是给了提示。两种解释都预言“有检索分数更高”，所以 A 分不开它们。
- B 看注意力：模型生成时关注了段落里的哪些词。注意力高说明这些词在计算中用得多，不等于答案由它们决定。
- C 是干预：参数一点不动，只把文档库换成另一年的版本。如果两版文档库里的事实不同（某国元首换了人），而答案跟着文档库变，那么答案里这部分知识只能来自外面。它好在两版的正确答案不同，答案跟着哪一版走，一目了然。

学生常提的“去掉检索，看会不会答错”也是干预，但它回答的是另一个问题：没有检索时模型会不会错。它不说明答对时用的知识来自哪里：模型可能参数里有、又用了检索，去掉检索后只是少了提示。换索引更干净。

这一招在本讲反复出现：只改一样东西，看结果变不变（Q01 的三招、Q23 的消融、Q28 的挪位置）。

## 学生可能的回答与误区

- 第 1 步｜“A 就够了，有检索分数更高。”这是相关，两种解释都预言它；要区分“提醒”和“来源”，得做能让两种解释给出不同预言的实验。
- 第 1 步｜“去掉检索就答错，说明知识来自检索。”这只说明没检索时会错，不说明答对时用的知识来自哪里。
- 第 1 步｜“看注意力最直接。”注意力只说明计算中用到了哪些词，不等于答案由它们决定。
- 第 2 步｜“C 也可能是模型被新段落误导了。”正是要点：换文档库后答案跟着变，说明模型在用段落里的内容；至于用得对不对，是 Q11 的问题。

## 教学构造与出处

- 教学构造：三张方案卡是本课列的候选，RAG 论文里没有这三个候选；论文真实采用的是 C（下一页）。
- [RAG · §4.5 Additional Results · Index hot-swapping](https://arxiv.org/abs/2005.11401)：arXiv 2005.11401v4（2021-04-12）；换索引实验在这一段（不是 §4.7）。

[在课堂中打开](/slides/testing-external-knowledge)