--- title: "换一个领域，还赢吗？" description: "在哪训练、在哪测的，结论就到哪为止；推广需要换分布再检验。" --- ## 这一页为什么在这里 划边界：一年后，BEIR 把 DPR 等检索器拿到 18 个数据集上直接用、不再训练，结论翻了过来。带走的判断是方法线的第三步：一个结论在哪训练、在哪测的，就只到哪为止；要推广，换个分布再测。第 3 步 同时给出工程上后来的做法，并把问题迁移到学生自己的领域。 ## 上屏 - 第 1 步：题面：2021 年，有人把这些检索器拿到 18 个不同数据集上直接用、不再训练：生物医学、金融问答、论证检索、事实核查、新闻……DPR 还赢吗？ - 第 2 步：横向条形图（BEIR，2021 · nDCG@10 · BM25＝0）：DPR −47.7%｜ANCE −7.4%｜TAS-B −2.8%｜BM25 取回后用模型重排 +11%。旁边例子框：生物医学问答（BioASQ）：DPR 0.127，BM25 0.465。 - 第 3 步：两行判断：① 在哪训练、在哪测的，结论就到哪为止。② 后来常用两种一起：字面检索先取，再用模型重排；或两路合并。 ## 讲 ### 第 1 步 · 教师可说的话 先预测跨领域泛化 一年后，有人把这些检索器拿到 18 个不同数据集，不再训练，直接用。你觉得 DPR 还能赢吗？ #### 指图与比较 先预测跨领域泛化 ### 第 2 步 · 教师可说的话 揭示 BEIR 的平均变化 平均下来，DPR 反而比 BM25 低了将近一半。生物医学问答上，0.127 对 0.465。别的向量检索器好一些，平均也没超过 BM25。整体表现最好的，是先用 BM25 取、再用模型重排。 #### 指图与比较 揭示 BEIR 的平均变化 ### 第 3 步 · 教师可说的话 划定结论边界并迁移 所以“向量检索更好”只在它训练和测试的那个分布里成立。这一招你们做研究天天用得上：一个结论在哪测的，就只到哪为止；要推广，就换个分布再测一次。课后在 Deepnote 里自己拨一下检索器的开关：同义改写的题，向量检索赢；编号很相近的题，字面检索赢。 #### 指图与比较 划定结论边界并迁移 ### 本页衔接 取到相关材料仍只是第一关；下一页检查答案是否真的由材料支持。 ### 连续教师稿原文 一年后，有人把这些检索器拿到 18 个不同数据集，不再训练，直接用。你觉得 DPR 还能赢吗？ 平均下来，DPR 反而比 BM25 低了将近一半。生物医学问答上，0.127 对 0.465。别的向量检索器好一些，平均也没超过 BM25。整体表现最好的，是先用 BM25 取、再用模型重排。 所以“向量检索更好”只在它训练和测试的那个分布里成立。这一招你们做研究天天用得上：一个结论在哪测的，就只到哪为止；要推广，就换个分布再测一次。课后在 Deepnote 里自己拨一下检索器的开关：同义改写的题，向量检索赢；编号很相近的题，字面检索赢。 ## 完整推理 **BEIR 做了什么。** 2021 年，德国达姆施塔特工业大学的团队搭了一个“零样本”检索基准：18 个公开数据集，覆盖生物医学、金融问答、论证检索、事实核查、新闻、实体检索等；检索器在别处训练好以后直接拿来用，不在这些数据上再训练。评价指标是 nDCG@10：看前 10 个结果排得好不好，0 到 1，越高越好。 **结果（表 2，相对 BM25 的平均变化）。** DPR −47.7%；ANCE −7.4%；TAS-B −2.8%；BM25 先取、再用交叉编码器重排 +11%。生物医学问答 BioASQ 上，DPR 0.127，BM25 0.465。 **怎么读。** Q09 里 DPR 赢，是在 NQ 上训练、在 NQ 上测；BEIR 换了分布，平均下来它比 BM25 低近一半。别的向量检索器（在 MS MARCO 上训练的 ANCE、TAS-B）好一些，但平均仍未超过 BM25。真正稳赢的是“字面先取、模型重排”的组合。BEIR 的作者也指出，DPR 是其中唯一不在 MS MARCO 上训练的，泛化最差：训练数据决定了它擅长什么。 **一个要注意的细节。** BEIR 的 18 个数据集里包括 NQ，也就是 DPR 的训练域；所以不能说“18 个别的领域”，平均值里也含着 DPR 的主场。 **为什么字面检索在这些地方占优。** 生物医学、法律、专利这类领域，关键线索常常是精确的名称和编号（基因名、药名、条款号），字面匹配一个不差；在通用问答上学出来的向量，可能把相近的名称混在一起。RAG 原文也报告：在事实核查 FEVER 上，换成 BM25 检索反而最好，作者推测是因为 FEVER 的论断以实体为中心，适合按词重合检索。 **后来怎么做。** 工程上常把两种合起来：字面检索先取一批，再用模型重排；或者字面与向量两路检索、结果合并。 **带走的判断。** 一个方法在训练和测试的同一个分布里胜出，不代表到了新分布也胜出。读到“X 比 Y 好”，第一个问题就是：在哪测的？ ## 学生可能的回答与误区 - 第 1 步｜多数人仍押 DPR 会赢，只是赢得少些。揭示后的落差正是这一页要的。 - 第 2 步｜“向量检索已经全面取代 BM25。”在跨领域、零样本的条件下并不是；今天的系统常常两种合用。 - 第 2 步｜“DPR 是个差方法。”它在自己的分布里确实强（Q09）；问题在于把它推广到没测过的分布。 - 第 3 步｜迁移：你的领域词汇特殊吗（化学式、基因名、法条编号、代码里的函数名）？那正是字面检索容易占优的地方；用之前先在自己的数据上比一比。 ## 教学构造与出处 - [BEIR · 表 2](https://arxiv.org/abs/2104.08663)：Thakur 等，arXiv 2104.08663v4，NeurIPS 2021 数据集与基准赛道；读表 2 的“Avg. Performance vs. BM25”一行与 BioASQ 一行，以及作者对 DPR 泛化的讨论。来源支持。注意 18 个数据集里含 NQ。 - [RAG · §4.5 Additional Results · Retrieval Ablations 与表 6](https://arxiv.org/abs/2005.11401)：arXiv 2005.11401v4；FEVER 上 BM25 检索最好，作者推测因为 FEVER 的论断以实体为中心。作者报告。 - “后来常用两种一起”是对通行做法的概括，不对应某一篇论文。 ## 动手 - LAB-A｜检索器开关的第二组题：近似编号（链接同 Q09）。同一个 40 段书架里有 5 组条目，每组 4 条正文相同，只有编号和一句校准口令不同；问题点名其中一个编号。 - 先写下：这一组谁赢、为什么。 - 课前实测（2026-11-08，题组在首次运行前固定，没有按成绩挑题）：10 题里，字面（TF-IDF）取 1 段、取 3 段都是 10/10；向量（MiniLM）取 1 段 4/10、取 3 段 6/10。和 Q09 的同义改写组正好反过来。书架和题目是教学构造，只展示“靠精确编号区分时，字面匹配可能占优”这一种机制，不是 BEIR 的复现。 - 看结果时想一想：每组 4 条正文相同，如果只在同组里随便挑，取 1 段、取 3 段大约能命中几题？向量检索比它好多少？两组题放在一起，各自占优的条件是什么？ [在课堂中打开](/slides/retrieval-domain-shift)