跳到内容
Coding with AI · Lecture 08
Esc
↑↓导航↵打开⌘J预览
本页内容

接力：为什么各地的人能沿着同一条线往下做？

共同约束、公开基准与公开成果，让不同机构能沿同一条问题线接力。

这一页为什么在这里

收尾前回看一眼：这一讲的十几个工作来自不同国家、不同机构，却能沿同一条问题线往下做，不是零散的发明。第 1 步 用具体的接法（复用、评测、扩展、当作对手）让学生看见接力；第 2 步 归纳为什么接得住，并把它变成对自己做研究的要求。画面只放工作、年月、单位和箭头；引用关系与版本界线在这里展开。

上屏

  • 第 1 步：时间轴 2020｜2021｜2022｜2023｜2024–25。十三项工作，每项写年月、名称、单位：2020-04 DPR（Facebook AI、华盛顿大学、普林斯顿）｜2020-05 RAG（Facebook AI Research、伦敦大学学院、纽约大学）｜2021-04 BEIR（德国达姆施塔特工业大学）｜2022-10 ReAct（普林斯顿、Google Research）｜2022-12 PopQA（华盛顿大学、约翰斯·霍普金斯、艾伦人工智能研究所）｜2023-02 间接提示注入（德国萨尔大学、CISPA 等）｜2023-03 Reflexion（美国东北大学、MIT、普林斯顿）｜2023-04 Generative Agents（斯坦福、Google）｜2023-05 Voyager（NVIDIA、加州理工等）｜2023-07 Lost in the Middle（斯坦福、伯克利、Samaya AI）｜2023-10 MemGPT（伯克利）｜2024-04 RULER（NVIDIA）｜2025-06/07 多 agent 之争；上下文腐蚀（Anthropic、Cognition、Chroma）。六个箭头标签：用了它的检索器（DPR→RAG）｜测出边界（DPR→BEIR）｜加上反思（ReAct→Reflexion）｜当作对手（ReAct、Reflexion→Voyager）｜把测试加难（Lost in the Middle→RULER）｜只加无关材料（RULER→Chroma）。底部一行：被 RULER 测的 17 个模型来自美国、法国、加拿大和中国（如 Qwen2、GLM4、Yi）。
  • 第 2 步：三条理由：同一个约束｜参数训练完就定，每一步只看这一次的输入。同一把尺子｜公开的数据与基准，结果能放进一张表比。公开的接力棒｜论文、代码、模型公开，上一篇留下的问题是下一篇的题目。

讲

第 1 步 · 教师可说的话

跨机构接力

回头看这十几个工作：来自美国、英国、德国的大学和公司，被测的模型还有法国、加拿大和中国的。它们不是各干各的：RAG 直接用了 DPR 的检索器；BEIR 把 DPR 拿到 18 个数据集重测；Reflexion 在 ReAct 式的 agent 上加了反思；Voyager 又把 ReAct、Reflexion 当对手。这些箭头分量不一样：有的是直接拿来用，有的是拿来重测或当对手比。

指图与比较

13 项工作按年月并列，用具体的检索器复用、评测、扩展和基线比较看见跨机构接力。

第 2 步 · 教师可说的话

为什么接得上

为什么接得上？三条：大家面对同一个约束；用同一把尺子量；把自己留下的问题公开写清楚。做研究也一样：找到大家共同的约束、用公认的尺子、把你留下的问题写清楚，别人才接得住。

指图与比较

从具体工作切到共同约束、公开的尺子与公开的接力棒，归纳为什么后来者接得住。

本页衔接

下一页回到五站，把这一讲带走的判断和后几讲的入口收在一起。

连续教师稿原文

回头看这十几个工作：来自美国、英国、德国的大学和公司，被测的模型还有法国、加拿大和中国的。它们不是各干各的：RAG 直接用了 DPR 的检索器；BEIR 把 DPR 拿到 18 个数据集重测；Reflexion 在 ReAct 式的 agent 上加了反思；Voyager 又把 ReAct、Reflexion 当对手。这些箭头分量不一样：有的是直接拿来用，有的是拿来重测或当对手比。

为什么接得上？三条：大家面对同一个约束；用同一把尺子量；把自己留下的问题公开写清楚。做研究也一样：找到大家共同的约束、用公认的尺子、把你留下的问题写清楚，别人才接得住。

完整推理

接力表 （年月按首发；“接住了什么”是课件的概括）：

  • 2020-04｜DPR｜Facebook AI、华盛顿大学、普林斯顿。接住检索加阅读的老路线（DrQA，2017），把检索器换成学出来的向量。
  • 2020-05｜RAG｜Facebook AI Research、伦敦大学学院、纽约大学。直接用 DPR 做检索器，把生成模型接上去。
  • 2021-04｜BEIR｜德国达姆施塔特工业大学。把 DPR 等拿到 18 个数据集重测，测出边界（18 个里包括 DPR 的训练域 NQ）。
  • 2022-10｜ReAct｜普林斯顿、Google Research。把检索变成模型自己的一个动作，和推理交替。
  • 2022-12｜PopQA｜华盛顿大学、约翰斯·霍普金斯、艾伦人工智能研究所。问“每题都查吗”，按常见程度决定。
  • 2023-02｜间接提示注入｜德国萨尔大学、CISPA、sequire technology。检索把外部文字放进输入，测出它会被当成指令。
  • 2023-03｜Reflexion｜美国东北大学、MIT；第二版增加普林斯顿。在 ReAct 式的 agent 上加“写下教训”。
  • 2023-04｜Generative Agents｜斯坦福、Google Research。把检索用在 agent 自己写下的经历上。
  • 2023-05｜Voyager｜NVIDIA、加州理工、斯坦福、得克萨斯大学奥斯汀分校、威斯康星大学麦迪逊分校。把经验写成代码；和 ReAct、Reflexion、AutoGPT 比；去掉技能库后期就停滞。
  • 2023-07｜Lost in the Middle｜斯坦福、伯克利、Samaya AI。拿开放域问答的数据测长窗口：放进去用上没有。
  • 2023-10｜MemGPT｜伯克利。借操作系统的分层存储与换页，让模型自己管窗口。
  • 2024-04｜RULER｜NVIDIA。把“大海捞针”加难。
  • 2025-06/07｜多 agent 之争；上下文腐蚀｜Anthropic、Cognition、Chroma。窗口仍不够用时，把上下文分给多个 agent；Chroma 在大海捞针上只加无关材料。

箭头的分量不一样。 六个箭头里有四种关系，还有一条只是概括：

  • DPR→RAG 是复用：RAG 的检索器用 DPR 的双编码器初始化。
  • DPR→BEIR 是被评测：BEIR 把 DPR 作为被测方法之一。
  • ReAct→Reflexion 是方法扩展：在 ReAct 式的 agent 上加反思。
  • ReAct、Reflexion→Voyager 是基线比较：Voyager 把它们改造到 Minecraft 里当对手。
  • Lost in the Middle→RULER 是测试方法的发展：RULER 引用了前者，并把键值检索纳入任务；不是单一方法的直接升级。
  • RULER→Chroma 的“只加无关材料”是方法线的概括。Chroma 原文里没有查到对 RULER 的直接引用；它明确扩展的是标准的大海捞针，引用了 Kamradt、NoLiMa 等。不能把这条箭头讲成直接引用或合作。

版本界线。 年月是首发时间；机构与结果如果来自后来的版本，要分开读。Reflexion 2023-03-20 的第一版机构是美国东北大学与 MIT，普林斯顿见 2023-05-21 的第二版。RULER 首发于 2024-04，画面上的 17 个模型（含 Qwen2、GLM4、Yi）来自 2024-08-06 的第三版；四月的第二版测了 10 个模型。

为什么接得住：三条。

  1. 同一个约束：参数训练完就固定，每一步只看得见这一次的输入。谁都绕不开，所以各地的人其实在解同一道题。
  2. 同一把尺子：公开的数据和基准（维基百科快照、Natural Questions、HotpotQA、FEVER、HumanEval、BEIR、RULER）。不同实验室的结果能放进一张表比，后来者知道该在哪里超过前人。
  3. 公开的接力棒：论文、代码、模型都公开；上一篇留下的问题，是下一篇的题目。能力在长（窗口从几千到一百万 token），卡住的地方就跟着移动。

放到自己的研究上。 你在解的题，和谁面对同一个约束？大家用什么尺子量？你论文里“留下的问题”写得够不够具体，具体到别人能接着做？

学生可能的回答与误区

  • 第 1 步｜年月相邻、画了箭头，就等于直接引用或合作。箭头有复用、评测、扩展、当作对手四种分量，还有一条只是方法线的概括。
  • 第 1 步｜把后来版本里的机构或结果当成首发时就有的。首发与后版要分清。
  • 第 2 步｜“放进同一张表，比较就公平了。”公开基准让比较成为可能；模型、预算、数据和评测条件仍要核对（Q16、Q33 的“同预算了吗”）。

教学构造与出处

在课堂中打开

这个页面有帮助吗？