--- title: "每个问题都要先去查吗？" description: "检索有代价；比较查与不查时，要按决定效果的变量分组看。" --- ## 这一页为什么在这里 第二站的开头。第一站的规则是“每题都查”，可查有代价，取回的东西可能是坏的，参数里也记着不少事实。2022 年底有人认真问：每个问题都要先去查吗？这一页让学生先押 A／B／C，再追问 C 的关键：按什么变量决定查不查？这个变量要在回答之前就量得到。 ## 上屏 - 第 1 步：页顶小站牌亮在 ② 2022。处境三行：查有代价：多一次检索、更长的输入、更多的钱｜取回的材料可能是错的、过时的｜参数里其实记着不少事实（第六讲）。三条路：A 每题都查｜B 从不查｜C 按题决定——按什么决定？ - 第 2 步：题面“什么变量能告诉你该不该查？”三张候选卡：问题有多难｜模型有多大把握｜问到的东西有多常见。下面是 PopQA 的设计：14,000 个关于实体的问题（某人的职业、某地属于哪个国家……）；每个实体的“常见程度”＝它的维基百科页面每月有多少人看；按常见程度分组，比较查与不查。 ## 讲 ### 第 1 步 · 教师可说的话 在查与不查之间押注 RAG 之后，“要不要查”好像不成问题：每题都查就是了。可查有代价：慢、贵，取回的还可能是坏材料；而参数里其实记着不少事实。2022 年底，有人认真问了一句：每个问题都要先去查吗？你押哪条？ #### 指图与比较 在查与不查之间押注 ### 第 2 步 · 教师可说的话 选择能决定效果的分组变量 如果按题决定，按什么？（停一下）问题难不难、模型有没有把握、问的东西常不常见。PopQA 选了最后一个，因为它量得出来：每个问题都关于一个实体，这个实体的维基百科页面每月有多少人看，就是它有多常见。按常见程度分组，看查和不查各自怎样。你先猜：冷门的和热门的，结果一样吗？ #### 指图与比较 选择能决定效果的分组变量 ### 本页衔接 下一页按常见程度揭示查与不查的效果。 ### 连续教师稿原文 RAG 之后，“要不要查”好像不成问题：每题都查就是了。可查有代价：慢、贵，取回的还可能是坏材料；而参数里其实记着不少事实。2022 年底，有人认真问了一句：每个问题都要先去查吗？你押哪条？ 如果按题决定，按什么？（停一下）问题难不难、模型有没有把握、问的东西常不常见。PopQA 选了最后一个，因为它量得出来：每个问题都关于一个实体，这个实体的维基百科页面每月有多少人看，就是它有多常见。按常见程度分组，看查和不查各自怎样。你先猜：冷门的和热门的，结果一样吗？ ## 完整推理 **处境。** RAG 之后，“要不要查”似乎不成问题：每题都查。但查有三种代价：多一次检索的延迟和费用；输入变长，调用更贵；取回的材料可能错、过时、或者和问题无关。另一方面，大模型的参数里确实记着大量事实（第六讲；Q04 的 LAMA）。于是“每题都查”需要证据，而不是默认。 **三条路。** A 每题都查：简单，但可能为常识付费，还可能被坏材料带错。B 从不查：便宜，但冷门、会变的事实答不上。C 按题决定：可能两头都占，但要找到一个决定查不查的信号。 **按什么决定。** 候选有三：问题有多难（难度本身不好量）；模型有多大把握（要先让模型答一遍或报告信心，信心未必可靠）；问到的东西有多常见。PopQA 选了最后一个，因为它在回答之前就量得出来：每个问题都关于一个实体，这个实体的维基百科页面月浏览量就是它的“常见程度”。这个量也大致反映了这个事实在训练语料里出现得多不多：越常见，越可能被参数记住。 **设计。** PopQA 有约 14,000 个单一关系的实体问题（某人的职业、某作品的作者、某地属于哪个国家等），按常见程度分组，比较不查和查的准确率。只比较总体平均会出问题：如果冷门题里查有帮助、热门题里查有害，两头的效果在平均里会相互抵消。分组才看得到结构。 ## 学生可能的回答与误区 - 第 1 步｜多数人押 A 或 C。押 A 的理由常是“多给信息总没坏处”：下一页会看到，坏材料能把本来会的带错。 - 第 2 步｜“按问题难度决定。”难度很难在回答之前量出来。一个好的决策变量要满足两条：回答前可观测；和“查有没有用”相关。 - 第 2 步｜“让模型自己说有没有把握。”这是后来的另一条路，但模型的自信不一定准；PopQA 先用一个外部的、量得到的变量。 - 只比较查与不查的平均准确率，会把冷门、热门两头相反的效果抵消掉。 ## 教学构造与出处 - 教学构造：处境三行、A／B／C 三条路和三张候选卡是课件做的。 - [PopQA · When Not to Trust Language Models](https://arxiv.org/abs/2212.10511)：Mallen 等，arXiv 2212.10511v4，ACL 2023；读 §3 数据集构造：约 14,000 个实体问题，常见程度取维基百科页面月浏览量（§3.2）。来源支持。 [在课堂中打开](/slides/when-to-retrieve)