拿掉一块会怎样？——消融的结果
要说记忆有用，就把它拿掉看看：完整结构最可信，每拿掉一块就变差——但“可信”是人评的分。
这一页为什么在这里
揭示消融结果，并划清它能说明什么：部件让采访回答在人评里“更像人”；它不是任务完成率，也不是重新跑两天的结果。
上屏
- 第 1 步：五根柱子（2023 · 由排名换算的分数）：完整 29.9｜去掉反思 26.9｜去掉反思和计划 25.6｜真人看记录后替写 23.0｜全部去掉，只剩模型 21.2。
- 第 2 步：两条读法：“好”是人评的可信度，不是任务完成率｜在同一份已有记忆上关掉部件，估计偏保守。
讲
第 1 步 · 教师可说的话
观察五根柱子
完整的最高，每拿掉一块就往下掉，只剩模型的最低。真人看着记录替它答的那一组排倒数第二，低于三种还留着记忆的条件；这不说明 agent 比人强，那些人只是看着记录，替一个陌生的 agent 作答。
指图与比较
五根柱子及其由排名换算的分数。
第 2 步 · 教师可说的话
读清测量与消融条件
读这个结果要记住两件事。第一，“好”是人评的“像不像真人”，不是“办成了几件事”，测量方式决定了结论能推多远。第二，他们是在同一份已经攒下的记忆上关掉部件，不是重新跑两天；作者自己说，这样得到的差距可能偏小。以后读 agent 的论文，先问这两个问题。
指图与比较
同一份已有记忆与人评可信度这两个条件。
本页衔接
记忆与反思可以起作用，但经历写下去，还可以写成不同的东西。
连续教师稿原文
完整的最高，每拿掉一块就往下掉，只剩模型的最低。真人看着记录替它答的那一组排倒数第二，低于三种还留着记忆的条件；这不说明 agent 比人强，那些人只是看着记录，替一个陌生的 agent 作答。
读这个结果要记住两件事。第一，“好”是人评的“像不像真人”，不是“办成了几件事”，测量方式决定了结论能推多远。第二，他们是在同一份已经攒下的记忆上关掉部件，不是重新跑两天；作者自己说，这样得到的差距可能偏小。以后读 agent 的论文，先问这两个问题。
完整推理
结果（§6.5，TrueSkill 分数 μ）。 完整结构 29.89；去掉反思 26.88；去掉反思和计划 25.64；真人替写 22.95；全部去掉 21.21。每拿掉一块，分数都下降；完整结构排第一，只剩模型的排最后。原文还用效应量和统计检验说明差别不是噪声。
怎么读。
- 测的是采访回答在人评中的可信度（像不像真人），不是准确率，也不是任务完成率。分数是从排名换算来的相对分数。
- “完整结构高于真人替写”不说明比人强：真人只能看记录、替一个陌生的 agent 作答；这个比较说明的是结构在这个任务上的作用。
- 实验设置：在同一份已经积累两天的记忆上关闭部件再采访，没有让每种条件重新生活两天。作者认为这样估计的差距偏保守：如果从一开始就没有反思和计划，agent 根本不会走上同样的路，积累下来的记忆也会不同。
方法线。 这一页的科研判断是：先问“好”怎么测（Q22），再读结果；结论要连同测量对象和实验安排一起读。
学生可能的回答与误区
- 第 1 步｜把这些分数当成准确率。它们是由排名换算的相对分数。
- 第 1 步｜“高于真人替写，所以 agent 比人更像人。”真人替写是一个参照条件，不是“人”的上限。
- 第 2 步｜“关掉部件的结果，就是没有这个部件的系统的表现。”这里是在同一份记忆上关掉；从头就没有该部件的系统，会积累出不同的记忆。
教学构造与出处
- 教学构造：柱子的画法与“两条读法”的措辞是课件做的；屏上分数四舍五入到一位小数。
- Generative Agents · §6.5 Results：arXiv 2304.03442v2；TrueSkill μ：完整 29.89、去掉反思 26.88、去掉反思和计划 25.64、真人替写 22.95、全部去掉 21.21；在同一份记忆上关闭部件、差距估计偏保守的说明。作者报告，来源支持（参谋长 11-08 打开 PDF 核对）。