跳到内容
Coding with AI · Lecture 08
Esc
↑↓导航↵打开⌘J预览
本页内容

这一讲的线:这一次的输入里放什么,谁来放?

任务每变大一步,就重新回答这次输入放什么、谁来放,并用一个对照判断放得对不对。

这一页为什么在这里

开场就把贯穿全讲的那根线立起来,后面的决策点才不是一串零散的论文,而是同一个问题在任务变大时一次次被重新回答。这根线是:模型训练完参数就定了,每一步只看得见这一次的输入;要它做的事却越来越大。于是每一站都要重新回答“这一次的输入里放什么、由谁来放”,而每一次回答,都是靠一个对照实验定下来的。后面各段第一页顶上的小站牌、各段末尾的“留下的问题 → 下一站”、收尾前的接力页(Q38),都回指这一页。

上屏

  • 第 1 步:两行。不变的:模型每一步只看得见这一次的输入(参数训练完就定了)。变大的:要它做的事。
  • 第 2 步:五站横排,每站写年份、要做的事、谁来放。① 2020|回答会变的事实|人写的规则:每题都去查;② 2022|一步查不到的问题|模型:何时查、查什么;③ 2023|连续干好几天的 agent|agent 自己:写下经历、自己管窗口;④ 2023–24|窗口装得下一整本书|挑:放什么、放哪儿;⑤ 2025|要读几百份材料的研究|多个 agent:分开放、再交接。站与站之间标“留下的问题”。
  • 第 3 步:每站下面加一个定下它的对照:只换文档库|拆开比|拿掉一块|只挪位置|同预算吗?一行:每一站留下的问题,是下一站的起点;每一站都靠一个对照定下来。
  • 第 4 步:右侧延出后几讲:第 9 讲 动手拿反馈|第 10 讲 一个编程 agent|第 11 讲 人和 AI 分控制|第 12 讲 多个 agent 分工;一行:谁来放,还会继续变。

讲

第 1 步 · 教师可说的话

不变与变大

穿越回 2020 年之前,先把这一讲的主线摆出来。有一件事从来没变:模型训练完参数就定了,每一步只看得见这一次的输入。变的是我们要它做的事。

指图与比较

先立不变的约束与变大的任务,让学生知道五站在回答同一个问题。

第 2 步 · 教师可说的话

五站的问题线

事情每变大一次,“这一次的输入里放什么、谁来放”就得重新回答一次。2020 年是人写规则,每题都去查;2022 年交给模型,自己决定何时查、查什么;2023 年 agent 要连续干好几天,经历得自己写下来;窗口变大以后,问题变成挑什么放进来;到 2025 年,一个窗口不够了,分给多个 agent。

指图与比较

出现五站时间轴,沿任务变大的顺序比较每次由谁把什么放进输入。

第 3 步 · 教师可说的话

五站的对照

每一站都不是拍脑袋定的,都有一个对照实验。这一讲要带走的,一半是这五站,一半是这些实验背后的判断方法。

指图与比较

各站下方出现一个对照方法,把问题线与判断方法对应起来。

第 4 步 · 教师可说的话

接到后四讲

这条线不停在今天。下一讲 agent 要真的动手;第 10 讲看一个编程 agent 怎么管自己的上下文;第 11 讲人和 AI 怎么分控制;第 12 讲多个 agent 怎么分工。谁来放,还会继续变。

指图与比较

五站右端接出后四讲,显示这次输入由谁来放还会继续改变。

本页衔接

带着“放什么、谁来放、怎么知道放对了”,下一页回到 2020 年,当时知识该放在哪里。

连续教师稿原文

穿越回 2020 年之前,先把这一讲的主线摆出来。有一件事从来没变:模型训练完参数就定了,每一步只看得见这一次的输入。变的是我们要它做的事。

事情每变大一次,“这一次的输入里放什么、谁来放”就得重新回答一次。2020 年是人写规则,每题都去查;2022 年交给模型,自己决定何时查、查什么;2023 年 agent 要连续干好几天,经历得自己写下来;窗口变大以后,问题变成挑什么放进来;到 2025 年,一个窗口不够了,分给多个 agent。

每一站都不是拍脑袋定的,都有一个对照实验。这一讲要带走的,一半是这五站,一半是这些实验背后的判断方法。

这条线不停在今天。下一讲 agent 要真的动手;第 10 讲看一个编程 agent 怎么管自己的上下文;第 11 讲人和 AI 怎么分控制;第 12 讲多个 agent 怎么分工。谁来放,还会继续变。

讲授出口

→ 第 9–12 讲|谁来放,还会继续变。可以在 第 4 步 停一下问:如果“谁来放”继续往下传,下一个接手的是谁?第 9 讲:输出变成行动,工具与代码拿回可验证的反馈;第 10 讲:一个编程智能体在真实代码库里自己决定读哪些文件;第 11 讲:人和 AI 怎样分控制权;第 12 讲:多个 agent 怎样分工与交接。

完整推理

一个不变的约束。 训练完成后参数固定;每一步生成时,模型只看得见这一次的输入(第五、六讲)。这个约束在 2020 年和 2025 年一样,所以五站其实在解同一道题。

一个变大的东西。 要它做的事:从回答一个会变的事实,到一步查不到的多跳问题,到连续几天的 agent,再到要读几百份材料的研究。任务每大一步,原来的回答就不够用,“放什么、谁来放”得重新回答。

五站。

  1. 2020:要回答会变的事实,还要说得出出处。回答:设计者写死规则,每题都去外面的文档库取前几段。定下它的对照:RAG 只换文档库、参数不动(Q07);DPR 只换检索器(Q09);BEIR 换领域再测(Q10)。留下的问题:查回来的不一定该用,查也有代价;有的问题一次查不到。
  2. 2022:一步查不到的问题(多跳问答、事实核查)。回答:把何时查、查什么交给模型,检索成为模型的一个动作。对照:PopQA 按常见程度分组(Q14);ReAct 把只想、只查、边想边查拆开比(Q17)。留下的问题:一次任务结束,经历就丢了。
  3. 2023:连续干好几天的 agent(小镇、写代码、Minecraft)。回答:交给 agent 自己写下经历、教训、技能,并自己决定什么留在窗口。对照:Generative Agents 的消融(Q23);Reflexion 与 Voyager 把经历写成教训或代码(Q24);MemGPT 让模型自己换页(Q25)。留下的问题:写得越多,窗口越不够;写错了会一直错。
  4. 2023–2024:窗口大到能装一整本书。回答:问题从“装不装得下”变成“挑什么、放哪儿”。对照:Lost in the Middle 只挪位置(Q28);RULER 区分标称与有效长度(Q29);长上下文与 RAG 同时比质量和成本(Q30)。留下的问题:装下了也会变差,任务还在变大。
  5. 2025:要读几百份材料的研究任务。回答:分给多个 agent,各管各的上下文,再交接。证据:一份内部评测、一篇论证加一个例子、一个受控实验,分量不同(Q33)。留下的问题:agent 之间怎么交接、谁说了算,接到第 11、12 讲。

“谁来放”这一列就是剧情。 人写的规则 → 模型 → agent 自己 → 每一步的挑选 → 多个 agent。这是职责往下移,不是新方法取代旧方法:今天的系统里,五种做法同时存在。

方法线。 每一站都由一个对照定下来,连起来就是这一讲教的科研判断:只换一样东西(换索引)→ 只换一个部件才算公平(DPR)→ 换分布再测(BEIR)→ 按决定效果的变量分组(PopQA)→ 拆开比、看错在哪(ReAct)→ 先问“好”怎么测(Generative Agents)→ 问基线是谁跑的(Reflexion)→ 只动一个变量(Lost in the Middle)→ 测试太简单,结论就虚高(RULER)→ 质量和成本一起看(长上下文与 RAG)→ 同预算了吗、证据有轻重(2025)。

为什么各地的人能接力 (详见 Q38):同一个约束、同一把尺子(公开的数据与基准)、公开的接力棒(论文、代码、模型)。

学生可能的回答与误区

  • 第 2 步|“后一站把前一站淘汰了。”不是。检索、让模型决定何时查、写记忆、挑选上下文、多 agent,在今天的系统里同时存在;主线讲的是任务变大后多出来的问题,以及职责往哪里移。
  • 第 2 步|“这是技术的自然演进,谁都会这么做。”每一站当时都有不止一条路(Q04、Q08、Q13、Q19、Q24、Q27、Q32 都让学生先押一次),是对照实验让大家收敛到其中一条;有的结论后来又被翻了过来(Q10)。
  • 第 3 步|“一个实验就决定了一站。”对照方法是缩写;每站背后有好几个实验,也都有适用范围,后面各段会划边界。
  • 第 4 步|“谁来放会一直交给 AI。”第 11 讲要讨论的正是人在哪里保留控制:哪些写入、删除、执行需要人确认。

教学构造与出处

  • 教学构造:“这一次的输入里放什么、谁来放”这根线、五站的划分、“留下的问题”和方法线,都是本课为这一讲做的概括,不是哪篇综述的现成框架;各站的年份取代表工作首次公开的时间。
  • 各站代表工作的出处在对应页:RAG(arXiv 2005.11401)、DPR(2004.04906)、BEIR(2104.08663)、PopQA(2212.10511)、ReAct(2210.03629)、Generative Agents(2304.03442)、Reflexion(2303.11366)、Voyager(2305.16291)、MemGPT(2310.08560)、Lost in the Middle(2307.03172)、RULER(2404.06654)、长上下文与 RAG(2407.16833)、Anthropic 多 agent 研究系统(2025-06-13)、Cognition “Don’t Build Multi-Agents”(2025-06-12)、Chroma “Context Rot”(2025-07-14)。
  • 后几讲的题目取自课程主页 codingai.pages.dev 的课表:第 9 讲 工具、代码与可验证反馈;第 10 讲 单个编程智能体;第 11 讲 人机协作与共享控制;第 12 讲 多智能体的组织与协作。

在课堂中打开

这个页面有帮助吗?