凭什么说是记忆和反思让它变好的？你来设计
先定“好”怎样测、和什么比，才能判断记忆与反思的作用和结论边界。
这一页为什么在这里
第三站的“设计检验”：在揭示消融结果之前，让学生先定两件事——“好”怎么测、和什么比。测量方式决定结论能推多远，这是方法线上“先问‘好’怎么测”那一步。
上屏
- 第 1 步：两栏。左「“好”怎么测？」：办成了几件事（比如几个人去了聚会）｜回答像不像真人｜……；右「和什么比？」：拿掉记忆、反思、计划中的一块｜换成真人替它写｜换一个更大的模型。
- 第 2 步：他们的设计（2023）：采访 25 个 agent：问它记得什么、打算做什么、遇到突发怎么办、怎么看别人；五种条件：完整｜去掉反思｜再去掉计划｜全部去掉（只剩模型）｜真人看了它的记录替它答；100 位评估者把五份回答按“像不像真人”排序。
讲
第 1 步 · 教师可说的话
先定测量与对照
Smallville 的 agent 看起来很像人。可是凭什么说，是记忆和反思让它变好的？轮到你设计：先定两件事，“好”怎么测？和什么比？
指图与比较
先看左栏测量，再看右栏对照。
第 2 步 · 教师可说的话
揭示人评设计
他们的选择：采访每个 agent，问它记得什么、打算做什么、遇到突发怎么办，然后在五种条件下各答一遍。测量用的是人评：100 个人排序，哪份最像真人。注意，这是一种选择，不是唯一的选择。你先猜五种条件的排序。
指图与比较
指向采访问题、五种条件与 100 位评估者。
本页衔接
先猜五种条件会怎样排序，再看下一页的消融结果。
连续教师稿原文
Smallville 的 agent 看起来很像人。可是凭什么说，是记忆和反思让它变好的？轮到你设计：先定两件事，“好”怎么测？和什么比？
他们的选择：采访每个 agent，问它记得什么、打算做什么、遇到突发怎么办，然后在五种条件下各答一遍。测量用的是人评：100 个人排序，哪份最像真人。注意，这是一种选择，不是唯一的选择。你先猜五种条件的排序。
完整推理
先定“好”。 候选很多：办成了几件事（聚会来了几个人）、回答像不像真人、行为是否前后一致、是否记得发生过的事。不同的测量支持不同的结论：“像人”的人评，支持的是可信度；“办成几件事”，支持的是完成任务。
再定对照。 拿掉一块（消融）能说明那一块的作用；换成真人替它写，能给出一个人类参照；换一个更大的模型，能看规模能不能替代结构。三种对照回答的问题不一样。
他们的选择（§6）。 Generative Agents 选了“采访＋人评”。对 25 个 agent 各问一组问题，覆盖自我认识、记忆、计划、对突发事件的反应、对他人的看法；在五种条件下各答一遍：完整结构、去掉反思、去掉反思和计划、全部去掉（没有观察、反思、计划，只靠模型），以及真人看了 agent 的记忆记录后替它回答。从 Prolific 招募 100 位评估者，先看一个随机 agent 在小镇里的生活回放，再把五份回答按“像不像真人”排序；用 TrueSkill 把排名换算成分数。
这是一种选择，不是唯一的选择。 原文另有端到端的观察（§7，比如信息怎样扩散、最终有几个 agent 出现在聚会上），但那是案例观察，不是逐个部件的对照。
学生可能的回答与误区
- 第 1 步｜“看几个人去了聚会。”这是端到端的观察，原文也报告了；但它没有对照组，不能把功劳分给某个部件。
- 第 1 步｜“换一个更大的模型来比。”这能回答“规模能否替代结构”，不能回答“记忆和反思有没有用”。
- 第 2 步｜“真人替写是上限。”真人只看到 agent 的记录、要模仿它作答，不一定比完整结构“更像”这个 agent；下一页会看到结果。
教学构造与出处
- 教学构造：左右两栏的候选是课件列的；原文的设计在 第 2 步。
- Generative Agents · §6 Controlled Evaluation：arXiv 2304.03442v2；采访问题的五类、五种条件、100 位评估者排序、TrueSkill 换算。来源支持；信息扩散、聚会协调在 §7 End-to-End Evaluation，属案例观察。