跳到内容
Coding with AI · Lecture 08
Esc
↑↓导航↵打开⌘J预览
本页内容

什么时候根本不需要 agent 自己决定?

能预先写好的流程就别交给模型;要说观察驱动更好,得在同样的调用次数下比。

这一页为什么在这里

给“交给模型决定”划一条界:任务有多个步骤,不等于每一步都要模型临时决定。对象一开始就知道的问题(A、B 哪份先发布),流程可以预先写好、甚至并行。然后让学生当审稿人:ReAct 说边想边查更好,要求他们怎么比?这是 Q17 揭示之前的“设计检验”。

上屏

  • 第 1 步:左右两个流程。左「下一次查询依赖观察」:Apple Remote ↓ Front Row ↓ 键盘功能键。右「名字一开始就知道」:A、B 两份资料哪份先发布?资料 A ↓ 发布日期;资料 B ↓ 发布日期;→ 比较。
  • 第 2 步:一行:同样的调用次数,同样的文档库。
  • 第 3 步:题面:ReAct 说“边想边查”更好。你是审稿人,要求他们怎么比?三个标签:和谁比(只想不查/只查不想)|预算一样吗|在哪类任务上。

讲

第 1 步 · 教师可说的话

预先可写的并行流程

换个问题:A 和 B 两份资料,哪份先发布?两个名字一开始就给了,分别查日期、再比较,完全可以提前写死,甚至并行查。没有必要因为学了 agent,就让它一轮一轮地查。

第 2 步 · 教师可说的话

同材料与同预算比较

所以要说“让模型自己决定查什么更好”,得和固定流程公平地比:同样的调用次数,同样的书架。否则多查了几次而分数更高,你分不清功劳是“自己决定”还是“多查了”。

第 3 步 · 教师可说的话

先提出审稿要求

所以轮到你当审稿人:ReAct 说边想边查更好,你要求他们和谁比、怎么比?

指图与比较

依次指向比较对象、预算与任务三项。

本页衔接

这类比较,ReAct 的作者自己是怎么做的?

连续教师稿原文

换个问题:A 和 B 两份资料,哪份先发布?两个名字一开始就给了,分别查日期、再比较,完全可以提前写死,甚至并行查。没有必要因为学了 agent,就让它一轮一轮地查。

所以要说“让模型自己决定查什么更好”,得和固定流程公平地比:同样的调用次数,同样的书架。否则多查了几次而分数更高,你分不清功劳是“自己决定”还是“多查了”。

所以轮到你当审稿人:ReAct 说边想边查更好,你要求他们和谁比、怎么比?

完整推理

什么时候不需要模型临时决定。 判断标准是:下一步需要的信息,是否依赖上一步的观察。Apple Remote 的问题里,第二跳的查询对象要等第一跳的结果;而“A、B 哪份先发布”里,两个对象都在题面上,查两份日期再比较的流程可以事先写死,两次查询还能并行。这时让模型一步步决定,只会更慢、更贵,还多了一处出错的可能。

公平对照。 比较“固定流程”和“观察驱动”时,要让两者用同样的文档库、同样的调用次数。如果观察驱动的方案多调用了几次检索,分数高了也可能只是因为拿到了更多信息,而不是因为“会选下一步”。

当审稿人。 ReAct 的主张是“推理和行动交替”比单做其中一样好。合格的对照至少要包括:只想不查(CoT)、只查不想(Act),用同一套示范、同一个模型;还要看在哪类任务上成立(多跳问答、事实核查、交互式任务各不相同)。预算是否相同,是读原文时要专门检查的一点。Q17 用 ReAct 的表 1、表 2 回答前两问。

学生可能的回答与误区

  • 第 1 步|“多步任务都应该交给 agent。”多步不等于依赖观察;能预先写好的流程,写好更稳更省。
  • 第 2 步|“观察驱动的分数高,说明它会选下一步。”先问两边的调用次数和文档库是否相同。
  • 第 3 步|审稿意见只提“和谁比”,忘了预算和任务类型。三个都要问。

教学构造与出处

  • 教学构造:A、B 两份资料的例子和两栏流程图是课件做的;审稿三问(和谁比、预算、任务)是本课的归纳。

动手

  • LAB-A §3|同预算对照:Deepnote · A|换索引:知识从哪来。在同样的调用次数与同样的文档库下,比较固定流程和观察驱动流程。
  • 先写下:哪种流程会先命中第二跳需要的那一段?
  • 课前实测:两种流程都没有命中第二跳的键盘段,所以这个小实验不能说明观察驱动更好;notebook 里照实写了。
  • 看结果时想一想:要让观察驱动显出优势,书架和问题得满足什么条件?

在课堂中打开

这个页面有帮助吗?