--- title: "按“有多常见”分组看" description: "平均数会掩盖结构：按决定效果的变量分组，才看清检索何时帮忙、何时有害。" --- ## 这一页为什么在这里 揭示 PopQA 的分组结果，并把“查有代价”落到真数字上：有 10% 的题，查了反而把本来会的带错。然后给出按常见程度决定查不查的收益，带走一种看数据的方式：只看平均会掩盖结构，按决定效果的那个变量分组看。 ## 上屏 - 第 1 步：示意图（角上标“示意”）：横轴常见程度，冷门→热门；纵轴不查时的准确率；一条上升的曲线。右侧三行：越冷门，模型越答不上｜把模型做大，对冷门的帮助不大｜热门的，不查也答得不错。 - 第 2 步：2×2 小表（GPT-3 davinci-003 · PopQA · 加检索前后）：自己答对、加检索也对 24%｜自己答对、加检索答错 10%（高亮）｜自己答错、加检索答对 17%｜都错 49%。一行：取回的材料不好，把本来会的带错了。 - 第 3 步：一行结果：按常见程度决定查不查（冷门才查）：最好 46.5%，比任何“一律查／一律不查”高 5.3 个百分点；GPT-3 调用成本约减半。一行判断：只看平均会掩盖结构：按决定效果的那个变量分组看。 ## 讲 ### 第 1 步 · 教师可说的话 按常见程度看结构 结果很清楚：越冷门的事实，模型越答不上；把模型做大，对冷门的帮助不大；热门的，不查也答得不错。 #### 指图与比较 按常见程度看结构 ### 第 2 步 · 教师可说的话 看检索造成的反向效果 反过来，查也有代价。这是 GPT-3 加检索前后的对照：有 10% 的题，模型自己本来答对，检索回来的材料不好，反而把它带错了。 #### 指图与比较 看检索造成的反向效果 ### 第 3 步 · 教师可说的话 按题决定并迁移分组方法 所以他们按常见程度决定：冷门的才查。这样最好做到 46.5%，比一律查、一律不查都高 5 个多点，调用成本还省了一半左右。值得带走的不是这个数，而是看数据的方式：只看平均，查和不查的差别会被抵消；按决定效果的那个变量分组，结构才露出来。你的研究里，那个变量是什么？ #### 指图与比较 按题决定并迁移分组方法 ### 本页衔接 从要不要查，进一步问下一次查什么、何时查能否由模型决定。 ### 连续教师稿原文 结果很清楚：越冷门的事实，模型越答不上；把模型做大，对冷门的帮助不大；热门的，不查也答得不错。 反过来，查也有代价。这是 GPT-3 加检索前后的对照：有 10% 的题，模型自己本来答对，检索回来的材料不好，反而把它带错了。 所以他们按常见程度决定：冷门的才查。这样最好做到 46.5%，比一律查、一律不查都高 5 个多点，调用成本还省了一半左右。值得带走的不是这个数，而是看数据的方式：只看平均，查和不查的差别会被抵消；按决定效果的那个变量分组，结构才露出来。你的研究里，那个变量是什么？ ## 完整推理 **结构。** 不查时，准确率随常见程度升高：越冷门越答不上。把模型做大，主要提升的是热门事实，对冷门事实帮助不大（摘要）。所以“记不住冷门”不是规模能轻易解决的问题，这正是检索该补的地方。 **查的代价（§5.2 表 1）。** 用 GPT-3 davinci-003 加 Contriever 检索，对照加检索前后：24% 的题本来答对、加检索后仍对；10% 本来答对、加检索后答错；17% 本来答错、加检索后答对；49% 两次都错。原文对帮倒忙的那 10% 的解释是取回的文本质量低：这一组检索结果的 recall@1 只有 0.14（四组依次为 0.83、0.14、0.88、0.11）。 **自适应检索（§6.2）。** 按常见程度设一个阈值：冷门的才查，热门的直接答。最好的组合（davinci-003，GenRead 与 Contriever 自适应搭配）达到 46.5%，比任何非自适应做法高 5.3 个百分点；引言说 GPT-3 API 成本约减半。 **带走的判断。** 不是这个 46.5%，而是看数据的方式：查与不查的效果在冷门、热门两头方向相反，平均会把它们抵消；按决定效果的变量分组，结构才露出来。你的研究里，那个变量是什么？ **边界。** PopQA 的问题都是单一关系的实体问题，常见程度对这类问题好用；问题不是关于某个实体的（推理、计算、开放式问题），就需要别的信号。后来也有人让模型按自己的把握决定何时检索。第 1 步 的曲线形状是示意，不是原图数据。 **回扣 Q04。** 2020 年春的押注，答案不是二选一：两种都要，看是哪类知识。热门、稳定的知识可以交给参数；冷门、会变的知识放在外面。 ## 学生可能的回答与误区 - 第 1 步｜“模型做大就能记住冷门的。”摘要的结论正相反：放大对冷门事实帮助不大。 - 第 2 步｜“10% 不多。”这是本来会答的题；对一个上线的系统，检索把对的改成错的，比没查更难发现。 - 第 3 步｜把常见程度当成所有任务决定是否检索的通用判据。它只对实体类问题好用；别的任务要找自己的决策变量。 - 第 3 步｜“46.5% 不高，所以方法不好。”这一页带走的是分组看数据的方法，不是这个分数；PopQA 有意收了大量冷门实体，本来就难。 ## 教学构造与出处 - 教学构造：第 1 步 的曲线是示意，坐标角上标了“示意”；右侧三行来自摘要。 - [PopQA · 摘要、§5.2 表 1、§6.2、引言](https://arxiv.org/abs/2212.10511)：arXiv 2212.10511v4；表 1 的四组比例与 recall@1；§6.2 自适应检索 46.5%、高 5.3 个百分点；引言里的成本约减半。作者报告，来源支持。 [在课堂中打开](/slides/popularity-guided-retrieval)