---
title: "窗口有一百万 token，全塞进去不就行了？"
description: "窗口大到能装下整本书以后，问题从“装不装得下”变成“放进去了用不用得上”。"
---

## 这一页为什么在这里

第四站的置身与抉择：窗口一年之内从 8k 涨到 100 万 token，前三站的很多麻烦似乎一下子没了。学生先回答一个看似显然的问题：都能放进去了，还需要检索和记忆吗？后面三页用实验回答：放进去不等于用上；标称长度不等于可用长度；长上下文和 RAG 谁更好要看条件。

## 上屏

- 第 1 步：小站牌亮在 ④。窗口标尺：2023 年 3 月 GPT-4：8k（限量 32k）；2024 年 2 月 Gemini 1.5 Pro：100 万 token（预览；标准版 12.8 万）。8k 画成 100 万的不到 1%。一行换算：100 万 token ≈ 70 万个英文词 ≈ 1 小时视频 ≈ 3 万行代码。
- 第 2 步：问题：都能放进去了，还需要检索和记忆吗？

## 讲

### 第 1 步 · 教师可说的话

窗口容量变化

2023 年 3 月，GPT-4 的窗口是 8k，限量开放 32k。不到一年，2024 年 2 月，Gemini 1.5 Pro 在预览里开放了一百万 token，大约七十万个英文单词。

#### 指图与比较

两块窗口面板及长度标尺左端不到 1% 的 8k 段。

### 第 2 步 · 教师可说的话

容量足够后的问题

既然整个书架都能放进托盘，还要检索、还要记忆吗？你先判断。

#### 指图与比较

标尺下方关于检索和记忆的问题。

### 本页衔接

有人专门做了一个实验，只动一个变量。

### 连续教师稿原文

2023 年 3 月，GPT-4 的窗口是 8k，限量开放 32k。不到一年，2024 年 2 月，Gemini 1.5 Pro 在预览里开放了一百万 token，大约七十万个英文单词。

既然整个书架都能放进托盘，还要检索、还要记忆吗？你先判断。

## 完整推理

**一年之内的变化。** 2023 年 3 月，GPT-4 的窗口是 8k token，32k 版本限量开放；2024 年 2 月，Google 发布 Gemini 1.5 Pro，标准窗口 12.8 万 token，并向部分开发者预览 100 万 token。按发布说明的换算，100 万 token 大约是 70 万个英文词、1 小时视频或 3 万行代码。8k 在这把尺子上不到 1%。

**为什么这是一个真问题。** 第一到第三站的检索、记忆、换页，很大程度上是因为窗口装不下。如果一本书、一个代码库、几天的经历都能整个放进去，最直接的做法就是“全塞进去，让模型自己看”。

**要分开检查的三件事。** 能不能放进去（容量）；放进去以后用上没有（使用）；用上的代价是多少（成本：长输入更慢、更贵）。后面三页分别检验后两件：Q28 只动位置，Q29 区分标称与有效长度，Q30 把质量和成本放在一起比。

**别混。** 限量和预览能力不是当时的默认能力：画面里标了“限量”“预览”，标准版窗口仍是 12.8 万。

## 学生可能的回答与误区

- 第 2 步｜“不需要了，全塞进去就行。”先问：放进去，模型就一定用上了吗？下一页的实验专门测这个。
- 第 2 步｜“还需要，因为装不下。”到 2024 年，很多任务确实装得下了；需要检索的理由要换成别的：用得上吗、花得起吗、材料会不会过时。
- 第 1 步｜把预览的 100 万当成当时普遍可用的窗口。

## 教学构造与出处

- 教学构造：窗口标尺的画法是课件做的，8k 与 100 万按比例画。
- [Google · Gemini 1.5 发布说明（开发者博客）](https://developers.googleblog.com/gemini-15-our-next-generation-model-now-available-for-private-preview-in-google-ai-studio/)：2024-02-15；标准窗口 12.8 万 token、预览 100 万 token，以及约 70 万词／1 小时视频／3 万行代码的换算。厂商说明。
- GPT-4 的 8k 与限量 32k：OpenAI 2023-03 发布时的说明。

[在课堂中打开](/slides/million-token-question)