换一个领域，还赢吗？
在哪训练、在哪测的，结论就到哪为止；推广需要换分布再检验。
这一页为什么在这里
划边界：一年后，BEIR 把 DPR 等检索器拿到 18 个数据集上直接用、不再训练，结论翻了过来。带走的判断是方法线的第三步：一个结论在哪训练、在哪测的，就只到哪为止；要推广，换个分布再测。第 3 步 同时给出工程上后来的做法，并把问题迁移到学生自己的领域。
上屏
- 第 1 步：题面：2021 年，有人把这些检索器拿到 18 个不同数据集上直接用、不再训练：生物医学、金融问答、论证检索、事实核查、新闻……DPR 还赢吗？
- 第 2 步：横向条形图（BEIR，2021 · nDCG@10 · BM25＝0）：DPR −47.7%｜ANCE −7.4%｜TAS-B −2.8%｜BM25 取回后用模型重排 +11%。旁边例子框：生物医学问答（BioASQ）：DPR 0.127，BM25 0.465。
- 第 3 步：两行判断：① 在哪训练、在哪测的，结论就到哪为止。② 后来常用两种一起：字面检索先取，再用模型重排；或两路合并。
讲
第 1 步 · 教师可说的话
先预测跨领域泛化
一年后，有人把这些检索器拿到 18 个不同数据集，不再训练，直接用。你觉得 DPR 还能赢吗？
指图与比较
先预测跨领域泛化
第 2 步 · 教师可说的话
揭示 BEIR 的平均变化
平均下来，DPR 反而比 BM25 低了将近一半。生物医学问答上，0.127 对 0.465。别的向量检索器好一些，平均也没超过 BM25。整体表现最好的，是先用 BM25 取、再用模型重排。
指图与比较
揭示 BEIR 的平均变化
第 3 步 · 教师可说的话
划定结论边界并迁移
所以“向量检索更好”只在它训练和测试的那个分布里成立。这一招你们做研究天天用得上：一个结论在哪测的，就只到哪为止；要推广，就换个分布再测一次。课后在 Deepnote 里自己拨一下检索器的开关：同义改写的题，向量检索赢；编号很相近的题，字面检索赢。
指图与比较
划定结论边界并迁移
本页衔接
取到相关材料仍只是第一关；下一页检查答案是否真的由材料支持。
连续教师稿原文
一年后，有人把这些检索器拿到 18 个不同数据集，不再训练，直接用。你觉得 DPR 还能赢吗？
平均下来，DPR 反而比 BM25 低了将近一半。生物医学问答上，0.127 对 0.465。别的向量检索器好一些，平均也没超过 BM25。整体表现最好的，是先用 BM25 取、再用模型重排。
所以“向量检索更好”只在它训练和测试的那个分布里成立。这一招你们做研究天天用得上：一个结论在哪测的，就只到哪为止；要推广，就换个分布再测一次。课后在 Deepnote 里自己拨一下检索器的开关：同义改写的题，向量检索赢；编号很相近的题，字面检索赢。
完整推理
BEIR 做了什么。 2021 年，德国达姆施塔特工业大学的团队搭了一个“零样本”检索基准：18 个公开数据集，覆盖生物医学、金融问答、论证检索、事实核查、新闻、实体检索等；检索器在别处训练好以后直接拿来用，不在这些数据上再训练。评价指标是 nDCG@10：看前 10 个结果排得好不好，0 到 1，越高越好。
结果（表 2，相对 BM25 的平均变化）。 DPR −47.7%；ANCE −7.4%；TAS-B −2.8%；BM25 先取、再用交叉编码器重排 +11%。生物医学问答 BioASQ 上，DPR 0.127，BM25 0.465。
怎么读。 Q09 里 DPR 赢，是在 NQ 上训练、在 NQ 上测；BEIR 换了分布，平均下来它比 BM25 低近一半。别的向量检索器（在 MS MARCO 上训练的 ANCE、TAS-B）好一些，但平均仍未超过 BM25。真正稳赢的是“字面先取、模型重排”的组合。BEIR 的作者也指出，DPR 是其中唯一不在 MS MARCO 上训练的，泛化最差：训练数据决定了它擅长什么。
一个要注意的细节。 BEIR 的 18 个数据集里包括 NQ，也就是 DPR 的训练域；所以不能说“18 个别的领域”，平均值里也含着 DPR 的主场。
为什么字面检索在这些地方占优。 生物医学、法律、专利这类领域，关键线索常常是精确的名称和编号（基因名、药名、条款号），字面匹配一个不差；在通用问答上学出来的向量，可能把相近的名称混在一起。RAG 原文也报告：在事实核查 FEVER 上，换成 BM25 检索反而最好，作者推测是因为 FEVER 的论断以实体为中心，适合按词重合检索。
后来怎么做。 工程上常把两种合起来：字面检索先取一批，再用模型重排；或者字面与向量两路检索、结果合并。
带走的判断。 一个方法在训练和测试的同一个分布里胜出，不代表到了新分布也胜出。读到“X 比 Y 好”，第一个问题就是：在哪测的？
学生可能的回答与误区
- 第 1 步｜多数人仍押 DPR 会赢，只是赢得少些。揭示后的落差正是这一页要的。
- 第 2 步｜“向量检索已经全面取代 BM25。”在跨领域、零样本的条件下并不是；今天的系统常常两种合用。
- 第 2 步｜“DPR 是个差方法。”它在自己的分布里确实强（Q09）；问题在于把它推广到没测过的分布。
- 第 3 步｜迁移：你的领域词汇特殊吗（化学式、基因名、法条编号、代码里的函数名）？那正是字面检索容易占优的地方；用之前先在自己的数据上比一比。
教学构造与出处
- BEIR · 表 2：Thakur 等，arXiv 2104.08663v4，NeurIPS 2021 数据集与基准赛道；读表 2 的“Avg. Performance vs. BM25”一行与 BioASQ 一行，以及作者对 DPR 泛化的讨论。来源支持。注意 18 个数据集里含 NQ。
- RAG · §4.5 Additional Results · Retrieval Ablations 与表 6：arXiv 2005.11401v4；FEVER 上 BM25 检索最好，作者推测因为 FEVER 的论断以实体为中心。作者报告。
- “后来常用两种一起”是对通行做法的概括，不对应某一篇论文。
动手
- LAB-A｜检索器开关的第二组题：近似编号（链接同 Q09）。同一个 40 段书架里有 5 组条目，每组 4 条正文相同，只有编号和一句校准口令不同；问题点名其中一个编号。
- 先写下：这一组谁赢、为什么。
- 课前实测（2026-11-08，题组在首次运行前固定，没有按成绩挑题）：10 题里，字面（TF-IDF）取 1 段、取 3 段都是 10/10；向量（MiniLM）取 1 段 4/10、取 3 段 6/10。和 Q09 的同义改写组正好反过来。书架和题目是教学构造，只展示“靠精确编号区分时，字面匹配可能占优”这一种机制，不是 BEIR 的复现。
- 看结果时想一想：每组 4 条正文相同，如果只在同组里随便挑，取 1 段、取 3 段大约能命中几题？向量检索比它好多少？两组题放在一起，各自占优的条件是什么？