什么时候根本不需要 agent 自己决定?
能预先写好的流程就别交给模型;要说观察驱动更好,得在同样的调用次数下比。
这一页为什么在这里
给“交给模型决定”划一条界:任务有多个步骤,不等于每一步都要模型临时决定。对象一开始就知道的问题(A、B 哪份先发布),流程可以预先写好、甚至并行。然后让学生当审稿人:ReAct 说边想边查更好,要求他们怎么比?这是 Q17 揭示之前的“设计检验”。
上屏
- 第 1 步:左右两个流程。左「下一次查询依赖观察」:Apple Remote ↓ Front Row ↓ 键盘功能键。右「名字一开始就知道」:A、B 两份资料哪份先发布?资料 A ↓ 发布日期;资料 B ↓ 发布日期;→ 比较。
- 第 2 步:一行:同样的调用次数,同样的文档库。
- 第 3 步:题面:ReAct 说“边想边查”更好。你是审稿人,要求他们怎么比?三个标签:和谁比(只想不查/只查不想)|预算一样吗|在哪类任务上。
讲
第 1 步 · 教师可说的话
预先可写的并行流程
换个问题:A 和 B 两份资料,哪份先发布?两个名字一开始就给了,分别查日期、再比较,完全可以提前写死,甚至并行查。没有必要因为学了 agent,就让它一轮一轮地查。
第 2 步 · 教师可说的话
同材料与同预算比较
所以要说“让模型自己决定查什么更好”,得和固定流程公平地比:同样的调用次数,同样的书架。否则多查了几次而分数更高,你分不清功劳是“自己决定”还是“多查了”。
第 3 步 · 教师可说的话
先提出审稿要求
所以轮到你当审稿人:ReAct 说边想边查更好,你要求他们和谁比、怎么比?
指图与比较
依次指向比较对象、预算与任务三项。
本页衔接
这类比较,ReAct 的作者自己是怎么做的?
连续教师稿原文
换个问题:A 和 B 两份资料,哪份先发布?两个名字一开始就给了,分别查日期、再比较,完全可以提前写死,甚至并行查。没有必要因为学了 agent,就让它一轮一轮地查。
所以要说“让模型自己决定查什么更好”,得和固定流程公平地比:同样的调用次数,同样的书架。否则多查了几次而分数更高,你分不清功劳是“自己决定”还是“多查了”。
所以轮到你当审稿人:ReAct 说边想边查更好,你要求他们和谁比、怎么比?
完整推理
什么时候不需要模型临时决定。 判断标准是:下一步需要的信息,是否依赖上一步的观察。Apple Remote 的问题里,第二跳的查询对象要等第一跳的结果;而“A、B 哪份先发布”里,两个对象都在题面上,查两份日期再比较的流程可以事先写死,两次查询还能并行。这时让模型一步步决定,只会更慢、更贵,还多了一处出错的可能。
公平对照。 比较“固定流程”和“观察驱动”时,要让两者用同样的文档库、同样的调用次数。如果观察驱动的方案多调用了几次检索,分数高了也可能只是因为拿到了更多信息,而不是因为“会选下一步”。
当审稿人。 ReAct 的主张是“推理和行动交替”比单做其中一样好。合格的对照至少要包括:只想不查(CoT)、只查不想(Act),用同一套示范、同一个模型;还要看在哪类任务上成立(多跳问答、事实核查、交互式任务各不相同)。预算是否相同,是读原文时要专门检查的一点。Q17 用 ReAct 的表 1、表 2 回答前两问。
学生可能的回答与误区
- 第 1 步|“多步任务都应该交给 agent。”多步不等于依赖观察;能预先写好的流程,写好更稳更省。
- 第 2 步|“观察驱动的分数高,说明它会选下一步。”先问两边的调用次数和文档库是否相同。
- 第 3 步|审稿意见只提“和谁比”,忘了预算和任务类型。三个都要问。
教学构造与出处
- 教学构造:A、B 两份资料的例子和两栏流程图是课件做的;审稿三问(和谁比、预算、任务)是本课的归纳。
动手
- LAB-A §3|同预算对照:Deepnote · A|换索引:知识从哪来。在同样的调用次数与同样的文档库下,比较固定流程和观察驱动流程。
- 先写下:哪种流程会先命中第二跳需要的那一段?
- 课前实测:两种流程都没有命中第二跳的键盘段,所以这个小实验不能说明观察驱动更好;notebook 里照实写了。
- 看结果时想一想:要让观察驱动显出优势,书架和问题得满足什么条件?