跳到内容
Coding with AI · Lecture 08
Esc
↑↓导航↵打开⌘J预览
本页内容

小结:知识可以放在外面,但要过两关

知识可以放在外面,但要过取到、用对两关;用干预、公平比较和换分布来检验。

这一页为什么在这里

第一站的小结:知识可以放在外面,但要过取到、用对两关;再把这一段的三招方法收拢,留下通向第二站的问题。

上屏

  • 第 1 步:小结框图:外部存储 → 取到?(同一个对象、同一个时间)→ 这一次的输入 → 用对?(答案由材料支持)→ 答案。两关下的例子:换索引(Q07)、只换检索器(Q09–Q10);两位 Michael Jordan(Q11)。
  • 第 2 步:三条方法:① 用干预找原因:只换一样东西(Q07)② 公平比较:只换一个部件(Q09)③ 在哪测的,结论到哪(Q10);下方入口:动手实践 · LAB-A →;底部一行:留下的问题:取回来的不一定该用,查也有代价;有的问题一次查不到 → ② 让模型自己决定查。

讲

第 1 步 · 教师可说的话

取到与用对

到这里,“读”这件事说清楚了:知识可以不在参数里,放在书架上,用的时候取。但它要过两关:取到,和用对。

指图与比较

取到与用对

第 2 步 · 教师可说的话

带走三种研究方法

这一段带走三招:用干预找原因,只换一样东西;公平比较,只换一个部件;在哪测的,结论到哪。课后 LAB-A 里三招都能自己做一遍。

指图与比较

带走三种研究方法

本页衔接

接下来从先查一次,走到检索成为可以选择的动作。

连续教师稿原文

到这里,“读”这件事说清楚了:知识可以不在参数里,放在书架上,用的时候取。但它要过两关:取到,和用对。

这一段带走三招:用干预找原因,只换一样东西;公平比较,只换一个部件;在哪测的,结论到哪。课后 LAB-A 里三招都能自己做一遍。

完整推理

两关。 取到:取回的材料是不是同一个对象、同一个时间(换索引的年份、同名的人)。用对:答案是不是真由材料支持(材料里有那句话,而不只是相关的词)。

三招。 这一段学到的三种做研究的办法,和检索无关也用得上:

  1. 用干预找原因:只换一样东西,看结果跟不跟着变(换索引)。
  2. 公平比较:只换一个部件,别的都不动,差别才算得到它头上(DPR 对 BM25)。
  3. 在哪测的,结论就到哪:换一个分布再测,看结论还在不在(BEIR)。

留下的问题 → 下一站。 第一站的做法是“人写死规则:每题都去查、取前几段”。它留下三个问题:取回来的不一定该用(Q11);查也有代价,慢、贵,还可能把本来会的带错(Q13–Q14);有的问题一次查不到(多跳问题,Q15–Q17)。第二站把“何时查、查什么”交给模型。

学生可能的回答与误区

  • “取到就等于有依据。”两关要分别检查。
  • “三招只适用于检索。”它们是一般的实验设计原则:你的研究里想知道结论靠哪份数据、哪个部件、在什么条件下成立,都用得上。

教学构造与出处

  • 教学构造:“两关”和“三招”是本课的归纳;对应的出处见 Q07、Q09、Q10、Q11。

动手

  • LAB-A 全本(链接同 Q07):§1 换索引、检索器开关、§2 同名对象。三招都能自己做一遍:每次只改一个条件,先写预测再运行。

在课堂中打开

这个页面有帮助吗?