--- title: "标称一百万，实际能用多长？" description: "测试太简单，结论就虚高；有效长度取决于任务与达标线。" --- ## 这一页为什么在这里 第四站的第二个决策点：厂商标的窗口长度信不信？怎样测“有效长度”？先让学生看大海捞针几乎全绿的格子图，问满分说明了什么、怎样设计更像真实任务的测试；再揭示 RULER：标称都在 32K 以上，只有一半在 32K 还达标。方法线的这一步是：测试太简单，结论就虚高。右下角出口接第 14 讲。 ## 上屏 - 第 1 步：左窄栏「大海捞针」（2023 年起流行的测法）：把一句话藏进很长的无关材料，问模型这句话说了什么；改变总长度和藏的位置，画成一张格子图，很多模型几乎全绿（示意）。右侧题面：满分说明了什么？你会怎么设计一个更像真实任务的测试？ - 第 2 步：左栏保留；右侧 RULER（2024）：17 个模型，13 类任务（多根针、找出全部符合条件的、追踪一个变量被谁赋值、数最常出现的词、长材料问答）；达标线：Llama2-7B 在 4K 长度的平均成绩 85.6%。表：模型｜标称｜实际达标的最长长度：GPT-4 128K｜64K；Llama3.1-70B 128K｜64K；Yi-34B 200K｜32K；Mistral-7B 32K｜16K；LWM-7B 1M｜不到 4K；Gemini-1.5-Pro 1M｜超过 128K（原表记作 >128K：测到的最长 128K 仍达标，更长没测）。一行：标称都在 32K 以上，只有一半在 32K 还达标。 - 第 3 步：两行判断：① 测试太简单，结论就虚高：大海捞针只测找到一句话。② “有效长度”取决于你划的线和选的任务：换一条线，数字就变；今天的模型要自己测。右下角出口：→ 第 14 讲｜一个基准到底量的是什么。 ## 讲 ### 第 1 步 · 教师可说的话 先设计有效长度的检验 窗口一长，大家都要回答：到底能用多长？2023 年流行一个测法，叫大海捞针：把一句话藏进很长的材料，再问它。很多模型几乎满分。满分说明了什么？换你来设计，怎么测得更像真实任务？ #### 指图与比较 左边大海捞针格子图与右边的提问。 ### 第 2 步 · 教师可说的话 比较标称与有效长度 2024 年，RULER 做了这件事：除了一根针，还有多根针，追踪一个变量被谁赋了值，数哪个词最常出现。17 个模型，标称都在 32K 以上，只有一半在 32K 还达标。GPT-4 标 128K，实际 64K；有个标一百万的开源模型，4K 就不达标了。也有撑得住的，Gemini 1.5 Pro 过了 128K。 #### 指图与比较 表格中 GPT-4 的 128K→64K、LWM 的 1M→不到4K，以及 Gemini 的超过128K。 ### 第 3 步 · 教师可说的话 辨认任务与阈值的边界 这一页两条判断：测试太简单，结论就虚高；“有效长度”取决于你划的那条线、选的那些任务。厂商说的窗口长度，是一个待检验的说法。 #### 指图与比较 表下两条判断。 ### 本页衔接 长度测量也提醒我们，比较长上下文与 RAG 时必须把模型、任务和资源条件放在一起。 ### 连续教师稿原文 窗口一长，大家都要回答：到底能用多长？2023 年流行一个测法，叫大海捞针：把一句话藏进很长的材料，再问它。很多模型几乎满分。满分说明了什么？换你来设计，怎么测得更像真实任务？ 2024 年，RULER 做了这件事：除了一根针，还有多根针，追踪一个变量被谁赋了值，数哪个词最常出现。17 个模型，标称都在 32K 以上，只有一半在 32K 还达标。GPT-4 标 128K，实际 64K；有个标一百万的开源模型，4K 就不达标了。也有撑得住的，Gemini 1.5 Pro 过了 128K。 这一页两条判断：测试太简单，结论就虚高；“有效长度”取决于你划的那条线、选的那些任务。厂商说的窗口长度，是一个待检验的说法。 ### 讲授出口 → 第 14 讲｜一个基准到底量的是什么。可以展开：一个测试的满分，可能只说明它太简单；基准的设计决定了你能下什么结论。第 14 讲讲评测基准与长时程证据。 ## 完整推理 **大海捞针。** 2023 年社区流行的长上下文测法：把一句与上下文无关的话（针）藏进很长的材料（草堆），问模型这句话说了什么；改变总长度和藏的位置，画成一张格子图。很多模型几乎全绿。可它只测了一件事：从很长的材料里找到一句字面上很显眼的话。 **更像真实任务的测试。** 真实任务要找的往往不止一处、要把分散的信息联系起来、要在相似的干扰里分辨、要统计或追踪。RULER（NVIDIA，2024）把单根针扩展成 13 类任务：多根针与多个查询、找出全部符合条件的条目、追踪一个变量在多次赋值后的值、统计最常出现的词、长材料问答等；测了 17 个模型，长度从 4K 到 128K。 **有效长度怎么定义。** 先划一条达标线：Llama2-7B 在 4K 长度上的平均成绩 85.6%。一个模型的有效长度，是它在各长度上的平均成绩仍高于这条线的最大测试长度。 **结果（表 3）。** 17 个模型的标称窗口都不少于 32K，但只有一半在 32K 长度上仍然达标。例：GPT-4 标称 128K，有效 64K；Llama3.1-70B 128K→64K；Yi-34B 200K→32K；Mistral-7B 32K→16K；LWM-7B 标称 1M，在 4K 就没达标；Gemini-1.5-Pro 标称 1M，在测到的最大长度 128K 仍达标。 **两条判断。** 测试太简单，结论就虚高：大海捞针的满分，不说明长材料能被可靠地使用。“有效长度”取决于你划的线和选的任务：线划高一点、任务换一组，数字就变。厂商说的窗口长度是一个待检验的说法；今天的模型，要按自己的任务重测。 **和 Q28 的关系。** Q28 只动位置，这一页动长度和任务难度；两页合起来回答“放进去用上没有”。被测的 17 个模型来自美国、法国、加拿大和中国的团队（如 Qwen2、GLM4、Yi），同一把尺子让大家的结果能放进一张表里比。 ## 学生可能的回答与误区 - 第 1 步｜“全绿说明长上下文问题解决了。”满分可能只说明测试太简单。 - 第 2 步｜把标称窗口当成可用长度。 - 第 2 步｜“有效长度是模型的固有属性。”它随达标线和任务而变；换一条线，表里的数字都会动。 - 第 3 步｜“Gemini 过了 128K，所以它的有效长度就是 1M。”RULER 只测到 128K，超过多少没测。 ## 教学构造与出处 - 教学构造：第 1 步 的格子图是示意，不是某个模型的实测。 - [RULER · What's the Real Context Size of Your Long-Context Language Models?](https://arxiv.org/abs/2404.06654)：Hsieh 等（NVIDIA），arXiv 2404.06654v3，COLM 2024；读摘要与表 3：17 个模型、13 类任务、4K–128K、达标线 85.6%、六个模型的有效长度。来源支持。 - 大海捞针是 2023 年社区流行的测法，这里只作背景。 ## 动手 - LAB-C §2｜拉长度（可选，默认关闭）：链接同 Q28。同一个小模型，一根针和两根针，把长度拉长，看哪个先掉。 - 先写下：两根针会在多长时先掉下来？ - 课前的正式运行没有跑这一节；打开开关自己跑，照实记录。 [在课堂中打开](/slides/ruler-effective-context)