--- title: "信息可能待在三个地方" description: "模型每次只看得见这一次的输入；这一讲讲信息怎样读进来、写下去、挑出来。" --- ## 这一页为什么在这里 这是全讲的母图。它把 Q01 的三个假设落成三个固定的位置：参数、这一次的输入、外部存储；再标出连接它们的三个动作：读（检索）、写（写入）、挑（选择）。后面每一段都在这张图上移动：2020 年的问题是怎样读，2023 年 agent 开始自己写，窗口变大以后，挑成了主要问题。底部一行把这一讲放进课程的第二阶段：第七讲讲处理，第八讲讲输入，第九讲讲输出。 ## 上屏 - 第 1 步：左栏「模型参数 θ」：训练时学到的东西存在这里（L06）；例：GPT-3 有 1750 亿个参数；这一次调用中不变。 - 第 2 步：中栏「这一次的输入」：系统指令｜对话历史｜这次的问题；有长度上限（L05）；模型每一步只读这里。 - 第 3 步：右栏「外部存储」：文档库（如维基百科切成的 2,100 万段，RAG，2020）｜记忆库（如 agent 自己写下的经历，2023）。三个箭头：检索（读）、写入（写）、选择（挑）。底部一行：L07 处理 → L08 输入 → L09 输出。 ## 讲 ### 第 1 步 · 教师可说的话 参数中的知识 先回忆第六讲：模型训练完，学到的东西存在参数里。这是第一处。 #### 指图与比较 指向左栏模型参数 θ 内三条文字。 ### 第 2 步 · 教师可说的话 这一次的输入 第五讲讲过，模型每一步真正读的，是这一次的输入。中栏放着系统指令、对话历史和这次的问题；输入有长度上限，放不下就进不来。 #### 指图与比较 指向中栏三项输入和长度上限，再沿下方箭头指向左栏。 ### 第 3 步 · 教师可说的话 外部存储与读写选择 第三处在模型外面，我们叫它书架；这一次的输入，我们管它叫托盘。这一讲就讲三个动作：从书架读进托盘，把经历写上书架，以及每一次挑什么放进托盘。第七讲讲模型怎么处理手上的信息，这一讲讲信息怎么进来，下一讲讲怎么输出成行动。 #### 指图与比较 对照右栏的文档库与记忆库，沿读、写箭头和中栏顶边的选择标记，最后看底部 L08 输入。 ### 本页衔接 进入历史抉择之前，先把这一讲的五站主线摆出来；再穿越回 2020 年。 ### 连续教师稿原文 先回忆第六讲：模型训练完，学到的东西存在参数里。这是第一处。 第五讲讲过，模型每一步真正读的，是这一次的输入。中栏放着系统指令、对话历史和这次的问题；输入有长度上限，放不下就进不来。 第三处在模型外面，我们叫它书架；这一次的输入，我们管它叫托盘。这一讲就讲三个动作：从书架读进托盘，把经历写上书架，以及每一次挑什么放进托盘。第七讲讲模型怎么处理手上的信息，这一讲讲信息怎么进来，下一讲讲怎么输出成行动。 ## 完整推理 三个位置的区别，在于什么时候能改、谁读得到。 - 参数在训练时定下来（第六讲），一次调用中不变。GPT-3 有 1750 亿个参数，能背下大量事实；但只能靠再训练来更新，也说不出某个事实来自哪份材料。 - 这一次的输入，是模型每一步唯一直接读取的东西：系统指令、对话历史、这次的问题，以及系统替它放进来的材料（第五讲）。它有长度上限；每次调用结束就清空，下一次要用，得有人再放一次。 - 外部存储在模型之外：文档库、数据库、agent 自己写下的记录。它可以很大、能改、能追溯来源；但模型看不见它，除非被取回、放进这一次的输入。 连接三者的是三个动作。读：把外部材料取回、放进输入（检索）。写：把经历、结论写到外面，留给以后的输入（写入）。挑：在有限的输入里决定放什么、放在哪里（选择）。本讲按时间顺序依次遇到它们：2020 年的问题是怎样读（RAG、DPR）；2023 年 agent 开始自己写（小镇、Reflexion、MemGPT）；窗口变大以后，挑成了主要问题（位置、有效长度、长上下文与 RAG、多 agent）。 课上口头可能把这三处叫作“模型里”“托盘”“书架”；屏幕和讲义用准确的词：参数、这一次的输入、外部存储。 最后一行是这一讲在课程里的位置：第七讲讲模型怎样处理已经在输入里的信息；第八讲讲信息怎样进入输入；第九讲讲输出怎样变成行动、拿回反馈。 ## 学生可能的回答与误区 - 第 2 步｜“放进过输入的东西，模型就记住了。”每次调用结束输入就清空；要跨调用使用，得下一次再放进来，或者先写到外部存储。 - 第 3 步｜“外部存储里有，模型就知道。”模型看不见外部存储，必须被检索回来、放进这一次的输入才可能起作用；取回什么、放在哪里，后面几段都会讲。 - “参数、上下文、记忆是一回事。”三者能不能改、能不能追溯来源、由谁决定放什么，都不同；本讲的每个实验都在区分它们。 ## 教学构造与出处 - 教学构造：三栏框图与“读、写、挑”三个动作是本讲的组织框架，不出自某篇论文。 - [GPT-3 · Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)：arXiv 2005.14165，2020-05-28；模型 1750 亿参数。 - [RAG · §3 Experiments](https://arxiv.org/abs/2005.11401)：arXiv 2005.11401v4；2018 年 12 月的维基百科，每篇文章切成不重叠的 100 词一段，共 2,100 万段；来源支持。 [在课堂中打开](/slides/three-memory-locations)