跳到内容
Coding with AI · Lecture 08
Esc
↑↓导航↵打开⌘J预览
本页内容

这一讲带走什么

信息怎样进来,这一讲讲完了;下一讲讲输出:用工具和代码去行动、拿反馈。

这一页为什么在这里

回到五站,收束三条带走的判断;提醒记忆本身带来的风险;把这一讲接到后面四讲。三条判断分别对应①、③、④⑤站和读、写、挑与用。

上屏

  • 第 1 步:五站站牌全部高亮:① 2020 人写规则|② 2022 模型去查|③ 2023 自己写下|④ 2024 挑|⑤ 2025 分给多个。三行表,列:带走的判断|靠什么证据|对应哪一步。① 知识可以放在外面,但要过取到、用对两关|只换文档库,答案跟着变(2020);换个领域,向量检索不再赢(2021)|① · 读。② 记忆是能写的检索库:写什么、写成什么、怎么改、何时忘|消融(2023);写成教训或代码(2023);钥匙撤回(L05)|③ · 写。③ 放进去不等于用上,每一步放什么要设计|只挪位置(2023);标称与有效长度(2024);四个干预|④⑤ · 挑、用。
  • 第 2 步:表下风险一行:记错的、不该记的、被当成指令读回来的(Q37)。右下:L09:用工具和代码去行动、拿反馈。
  • 第 3 步:一行:接下来:第 9 讲 动手拿反馈 → 第 10 讲 一个编程 agent → 第 11 讲 人和 AI 分控制 → 第 12 讲 多个 agent 分工。

讲

第 1 步 · 教师可说的话

三条判断

第一,知识可以放在外面,但要过取到、用对两关。第二,记忆是能写的检索库:写什么、写成什么、怎么改、何时忘。第三,放进去不等于用上,每一步放什么要设计。

指图与比较

逐行对照三条判断、各自的实验与例子,再看最右列对应的信息处理步骤。

第 2 步 · 教师可说的话

风险与下一讲

还要提醒一点:记忆也是风险。记错的会一直错下去;不该记的也可能被记下;刚才那句“忽略之前的要求”,如果被当成指令读回来,就能左右你的 agent。小镇那篇论文的作者自己也提醒过:一段精心设计的对话,就能让 agent 相信一件从没发生过的事。下一讲讲另一半:输出,怎样用工具和代码去行动、拿到能检验的反馈。

指图与比较

从三行判断落到表下的风险一行,再看右下的 L09 行动与反馈预告。

第 3 步 · 教师可说的话

从这一次的输入接到后续四讲

这一讲管的是这一次的输入里放什么;接下来几讲,放的人越来越多——一个 agent 自己、人和 agent、多个 agent。

指图与比较

四讲顺序与放的人怎样增多

本页衔接

从这一次的输入,接到工具反馈、一个编程 agent、人机共享控制和多个 agent 的分工。随后进入 PokeAgent。

连续教师稿原文

第一,知识可以放在外面,但要过取到、用对两关。第二,记忆是能写的检索库:写什么、写成什么、怎么改、何时忘。第三,放进去不等于用上,每一步放什么要设计。

还要提醒一点:记忆也是风险。记错的会一直错下去;不该记的也可能被记下;刚才那句“忽略之前的要求”,如果被当成指令读回来,就能左右你的 agent。小镇那篇论文的作者自己也提醒过:一段精心设计的对话,就能让 agent 相信一件从没发生过的事。下一讲讲另一半:输出,怎样用工具和代码去行动、拿到能检验的反馈。

这一讲管的是这一次的输入里放什么;接下来几讲,放的人越来越多——一个 agent 自己、人和 agent、多个 agent。

完整推理

三条判断,各靠什么。

  1. 知识可以放在外面,但要过取到、用对两关。只换文档库、答案跟着变(RAG,2020,Q07),是判断知识来源的干预;只换检索器(DPR,Q09)是公平比较;换个领域向量检索不再赢(BEIR,2021,Q10),说明结论只到训练和测试的那个分布为止;两位 Michael Jordan(Q11)说明取到相关材料不等于答案有依据。
  2. 记忆是能写的检索库。写什么、写成事件还是教训或代码(Q24)、怎么改(钥匙撤回,Q26)、何时忘,都决定以后能复用什么、会错在哪里。消融(Generative Agents,Q23)检验部件的作用,但“好”怎么测限定了结论能推多远;跨论文的基线不能当同一次实验的对照(Reflexion,Q24)。
  3. 放进去不等于用上。只挪位置(Lost in the Middle,2023,Q28);标称与有效长度(RULER,2024,Q29);长上下文与 RAG 要看条件(Q30);同一个错误先列竞争解释、再用干预分开(Q35–Q36)。每一步要什么、放多少、放在哪,都要设计。

三条各连着一种检验办法:干预、消融、只动一个变量。带走的是办法,不只是结论。

记忆也是风险。 记错的会一直被读回来(Q24:写错的教训);不该记的也可能被记下;像指令的文字可能被当成指令读回来(Q37)。Generative Agents 的作者在讨论里也写到:他们的 agent 是否稳健还不知道,可能受“记忆篡改”影响:一段精心设计的对话,就能让 agent 相信一件从没发生过的事。

接下来几讲。 这一讲管的是信息怎样进来:这一次的输入里放什么。第 9 讲(工具、代码与可验证反馈)讲另一半:用工具和代码去行动、拿到能检验的反馈。之后放的人越来越多:第 10 讲(单个编程智能体)是一个 agent 自己;第 11 讲(人机协作与共享控制)是人和 agent;第 12 讲(多智能体的组织与协作)是多个 agent。

学生可能的回答与误区

  • 第 1 步|“这一讲讲的是检索技术。”主线是“这一次的输入里放什么、谁来放”;检索只是第一站的答案。
  • 第 1 步|把三条当成三句结论背下来。每一条都连着一种检验办法,换了模型和任务,办法还用得上。
  • 第 2 步|“记忆越多越好。”记错的、不该记的、像指令的,都会被读回来。

教学构造与出处

  • 教学构造:三行表与“对应哪一步”是本课的归纳;各条证据的出处见对应页。
  • Generative Agents · §8.2 Future Work and Limitations:arXiv 2304.03442v2;作者写 agent 的稳健性还不清楚,可能受提示篡改、记忆篡改(精心设计的对话让 agent 相信从没发生过的事)和幻觉影响。作者的讨论,不是实验结果。
  • 课程主页 · 讲次列表:第 9–12 讲的题目。

在课堂中打开

这个页面有帮助吗?