---
title: "凭什么说是记忆和反思让它变好的？你来设计"
description: "先定“好”怎样测、和什么比，才能判断记忆与反思的作用和结论边界。"
---

## 这一页为什么在这里

第三站的“设计检验”：在揭示消融结果之前，让学生先定两件事——“好”怎么测、和什么比。测量方式决定结论能推多远，这是方法线上“先问‘好’怎么测”那一步。

## 上屏

- 第 1 步：两栏。左「“好”怎么测？」：办成了几件事（比如几个人去了聚会）｜回答像不像真人｜……；右「和什么比？」：拿掉记忆、反思、计划中的一块｜换成真人替它写｜换一个更大的模型。
- 第 2 步：他们的设计（2023）：采访 25 个 agent：问它记得什么、打算做什么、遇到突发怎么办、怎么看别人；五种条件：完整｜去掉反思｜再去掉计划｜全部去掉（只剩模型）｜真人看了它的记录替它答；100 位评估者把五份回答按“像不像真人”排序。

## 讲

### 第 1 步 · 教师可说的话

先定测量与对照

Smallville 的 agent 看起来很像人。可是凭什么说，是记忆和反思让它变好的？轮到你设计：先定两件事，“好”怎么测？和什么比？

#### 指图与比较

先看左栏测量，再看右栏对照。

### 第 2 步 · 教师可说的话

揭示人评设计

他们的选择：采访每个 agent，问它记得什么、打算做什么、遇到突发怎么办，然后在五种条件下各答一遍。测量用的是人评：100 个人排序，哪份最像真人。注意，这是一种选择，不是唯一的选择。你先猜五种条件的排序。

#### 指图与比较

指向采访问题、五种条件与 100 位评估者。

### 本页衔接

先猜五种条件会怎样排序，再看下一页的消融结果。

### 连续教师稿原文

Smallville 的 agent 看起来很像人。可是凭什么说，是记忆和反思让它变好的？轮到你设计：先定两件事，“好”怎么测？和什么比？

他们的选择：采访每个 agent，问它记得什么、打算做什么、遇到突发怎么办，然后在五种条件下各答一遍。测量用的是人评：100 个人排序，哪份最像真人。注意，这是一种选择，不是唯一的选择。你先猜五种条件的排序。

## 完整推理

**先定“好”。** 候选很多：办成了几件事（聚会来了几个人）、回答像不像真人、行为是否前后一致、是否记得发生过的事。不同的测量支持不同的结论：“像人”的人评，支持的是可信度；“办成几件事”，支持的是完成任务。

**再定对照。** 拿掉一块（消融）能说明那一块的作用；换成真人替它写，能给出一个人类参照；换一个更大的模型，能看规模能不能替代结构。三种对照回答的问题不一样。

**他们的选择（§6）。** Generative Agents 选了“采访＋人评”。对 25 个 agent 各问一组问题，覆盖自我认识、记忆、计划、对突发事件的反应、对他人的看法；在五种条件下各答一遍：完整结构、去掉反思、去掉反思和计划、全部去掉（没有观察、反思、计划，只靠模型），以及真人看了 agent 的记忆记录后替它回答。从 Prolific 招募 100 位评估者，先看一个随机 agent 在小镇里的生活回放，再把五份回答按“像不像真人”排序；用 TrueSkill 把排名换算成分数。

**这是一种选择，不是唯一的选择。** 原文另有端到端的观察（§7，比如信息怎样扩散、最终有几个 agent 出现在聚会上），但那是案例观察，不是逐个部件的对照。

## 学生可能的回答与误区

- 第 1 步｜“看几个人去了聚会。”这是端到端的观察，原文也报告了；但它没有对照组，不能把功劳分给某个部件。
- 第 1 步｜“换一个更大的模型来比。”这能回答“规模能否替代结构”，不能回答“记忆和反思有没有用”。
- 第 2 步｜“真人替写是上限。”真人只看到 agent 的记录、要模仿它作答，不一定比完整结构“更像”这个 agent；下一页会看到结果。

## 教学构造与出处

- 教学构造：左右两栏的候选是课件列的；原文的设计在 第 2 步。
- [Generative Agents · §6 Controlled Evaluation](https://arxiv.org/abs/2304.03442)：arXiv 2304.03442v2；采访问题的五类、五种条件、100 位评估者排序、TrueSkill 换算。来源支持；信息扩散、聚会协调在 §7 End-to-End Evaluation，属案例观察。

[在课堂中打开](/slides/testing-memory-components)