跳到内容
Coding with AI · Lecture 08
Esc
↑↓导航↵打开⌘J预览
本页内容

取到了相关材料,答案就有依据吗?

相似不等于支持:要检查材料讲的是不是同一个对象、能不能支持答案。

这一页为什么在这里

第一站的第二关:取到了相关材料,不等于答案有依据。用一个同名对象的例子让学生看到,检索分数衡量的是“和问题像不像”,不是“能不能支持答案”。它把 Q12 小结里的“取到”和“用对”两关分开,也补上 Q07 没回答的那一半:用了外面的材料,用对了没有。

上屏

  • 第 1 步:问题“Michael Jordan 在哪所大学当教授?”;「这一次的输入」面板放检索回的三段,每段一行加分数:0.82 篮球运动员,在北卡罗来纳大学读书|0.80 Michael I. Jordan,加州大学伯克利分校教授|0.61 北卡罗来纳大学位于教堂山。
  • 第 2 步:模型抓住第一段,给出错误回答:北卡罗来纳大学(红)。
  • 第 3 步:两道检查:说的是不是同一个人?(×)能不能支持“当教授”?(×)

讲

第 1 步 · 教师可说的话

三段相关材料与分数

问一个问题:Michael Jordan 在哪所大学当教授?离问题最近的三段放进这一次的输入,分数最高的两段都叫 Michael Jordan。

指图与比较

三段相关材料与分数

第 2 步 · 教师可说的话

追踪一个错误答案

如果模型抓住第一段,就会答“北卡罗来纳大学”。可那一段讲的是打篮球的那位,他在北卡读的书,不是当教授。

指图与比较

追踪一个错误答案

第 3 步 · 教师可说的话

检查对象与支持关系

所以“取到”和“用对”之间还隔着两道检查:说的是不是同一个对象?它支不支持这个结论?做研究引文献也是这样:一篇文章和你的结论相关,不等于它支持你的结论。

指图与比较

检查对象与支持关系

本页衔接

收束取到与用对两关,并带走这一段的三个研究方法。

连续教师稿原文

问一个问题:Michael Jordan 在哪所大学当教授?离问题最近的三段放进这一次的输入,分数最高的两段都叫 Michael Jordan。

如果模型抓住第一段,就会答“北卡罗来纳大学”。可那一段讲的是打篮球的那位,他在北卡读的书,不是当教授。

所以“取到”和“用对”之间还隔着两道检查:说的是不是同一个对象?它支不支持这个结论?做研究引文献也是这样:一篇文章和你的结论相关,不等于它支持你的结论。

完整推理

三段都和问题有关:都有“Michael Jordan”或“大学”。检索按相似度排序,分数最高的是篮球运动员那一段,因为它和问题共有的东西最多。但它说的是另一个人,而且“在北卡罗来纳大学读书”支持不了“在那里当教授”。真正有用的是第二段:机器学习学者 Michael I. Jordan 在伯克利任教。

从取回的材料到答案,要过两道检查:

  1. 同一个对象吗?同名的人、同名的地方、不同时期的同一个职位,都可能被当成一个。
  2. 它支持这个结论吗?材料里要有能推出答案的那句话,而不只是相关的词。

检索分数不是证据强度。0.82 和 0.80 只差一点,在排序里却决定了谁排第一;阅读器如果只看第一段,就会答错。

这也说明了 Q07 的边界:换索引证明了模型在用外面的材料,没证明它用对了。后来的系统常加一步“检索后核对”:重排、要求引用原句、或者让模型先判断材料是否相关。

学生可能的回答与误区

  • 第 1 步|“分数最高的那段最可信。”分数衡量的是与问题的相似,不是能否支持答案。
  • 第 2 步|“模型应该看得出是两个人。”如果取回的材料里没有区分两人的线索,或者阅读器只看排在最前面的一段,就看不出来。
  • 第 3 步|“多取几段就能解决。”多取能把正确的段落取进来,也会带进更多同名的干扰;还要有核对这一步。

教学构造与出处

  • 教学构造:三段文字和相似度分数是为画面编的例子,不是某个系统的真实输出。
  • Michael I. Jordan · 个人主页:1998–2024 年在加州大学伯克利分校任教(主页自述)。

动手

  • LAB-A §2|同名对象(链接同 Q07):先区分是不是同一个对象,再检查材料是否支持答案。
  • 先写下:如果只读排第一的那一段,答案是什么?
  • 看结果时记下:检索分数和“是否支持答案”是不是一回事。

在课堂中打开

这个页面有帮助吗?