---
title: "拿掉一块会怎样？——消融的结果"
description: "要说记忆有用，就把它拿掉看看：完整结构最可信，每拿掉一块就变差——但“可信”是人评的分。"
---

## 这一页为什么在这里

揭示消融结果，并划清它能说明什么：部件让采访回答在人评里“更像人”；它不是任务完成率，也不是重新跑两天的结果。

## 上屏

- 第 1 步：五根柱子（2023 · 由排名换算的分数）：完整 29.9｜去掉反思 26.9｜去掉反思和计划 25.6｜真人看记录后替写 23.0｜全部去掉，只剩模型 21.2。
- 第 2 步：两条读法：“好”是人评的可信度，不是任务完成率｜在同一份已有记忆上关掉部件，估计偏保守。

## 讲

### 第 1 步 · 教师可说的话

观察五根柱子

完整的最高，每拿掉一块就往下掉，只剩模型的最低。真人看着记录替它答的那一组排倒数第二，低于三种还留着记忆的条件；这不说明 agent 比人强，那些人只是看着记录，替一个陌生的 agent 作答。

#### 指图与比较

五根柱子及其由排名换算的分数。

### 第 2 步 · 教师可说的话

读清测量与消融条件

读这个结果要记住两件事。第一，“好”是人评的“像不像真人”，不是“办成了几件事”，测量方式决定了结论能推多远。第二，他们是在同一份已经攒下的记忆上关掉部件，不是重新跑两天；作者自己说，这样得到的差距可能偏小。以后读 agent 的论文，先问这两个问题。

#### 指图与比较

同一份已有记忆与人评可信度这两个条件。

### 本页衔接

记忆与反思可以起作用，但经历写下去，还可以写成不同的东西。

### 连续教师稿原文

完整的最高，每拿掉一块就往下掉，只剩模型的最低。真人看着记录替它答的那一组排倒数第二，低于三种还留着记忆的条件；这不说明 agent 比人强，那些人只是看着记录，替一个陌生的 agent 作答。

读这个结果要记住两件事。第一，“好”是人评的“像不像真人”，不是“办成了几件事”，测量方式决定了结论能推多远。第二，他们是在同一份已经攒下的记忆上关掉部件，不是重新跑两天；作者自己说，这样得到的差距可能偏小。以后读 agent 的论文，先问这两个问题。

## 完整推理

**结果（§6.5，TrueSkill 分数 μ）。** 完整结构 29.89；去掉反思 26.88；去掉反思和计划 25.64；真人替写 22.95；全部去掉 21.21。每拿掉一块，分数都下降；完整结构排第一，只剩模型的排最后。原文还用效应量和统计检验说明差别不是噪声。

**怎么读。**

1. 测的是采访回答在人评中的可信度（像不像真人），不是准确率，也不是任务完成率。分数是从排名换算来的相对分数。
2. “完整结构高于真人替写”不说明比人强：真人只能看记录、替一个陌生的 agent 作答；这个比较说明的是结构在这个任务上的作用。
3. 实验设置：在同一份已经积累两天的记忆上关闭部件再采访，没有让每种条件重新生活两天。作者认为这样估计的差距偏保守：如果从一开始就没有反思和计划，agent 根本不会走上同样的路，积累下来的记忆也会不同。

**方法线。** 这一页的科研判断是：先问“好”怎么测（Q22），再读结果；结论要连同测量对象和实验安排一起读。

## 学生可能的回答与误区

- 第 1 步｜把这些分数当成准确率。它们是由排名换算的相对分数。
- 第 1 步｜“高于真人替写，所以 agent 比人更像人。”真人替写是一个参照条件，不是“人”的上限。
- 第 2 步｜“关掉部件的结果，就是没有这个部件的系统的表现。”这里是在同一份记忆上关掉；从头就没有该部件的系统，会积累出不同的记忆。

## 教学构造与出处

- 教学构造：柱子的画法与“两条读法”的措辞是课件做的；屏上分数四舍五入到一位小数。
- [Generative Agents · §6.5 Results](https://arxiv.org/abs/2304.03442)：arXiv 2304.03442v2；TrueSkill μ：完整 29.89、去掉反思 26.88、去掉反思和计划 25.64、真人替写 22.95、全部去掉 21.21；在同一份记忆上关闭部件、差距估计偏保守的说明。作者报告，来源支持（参谋长 11-08 打开 PDF 核对）。

[在课堂中打开](/slides/smallville-ablation)