课前:故意考它一道"它不知道"的题
课前找一个它大概率答不上来的问题(比如"我们学校图书馆几点关门""今年刚出的某条政策"),问它,看它怎么回答——是老实说不知道,还是编得像模像样?把它的回答截图带来。
直播 0–30|它为什么"像人一样"回答
- 大模型不是"理解"了你,而是在做一件事:预测下一个最可能的词,一个字一个字往下拼。
- 所以它说话通顺、有模有样,但"通顺"不等于"正确"——这是理解它一切行为的总钥匙。
- 它还有个特点:不会主动说"我不知道",一旦开口,就会流利地把话说到底。
直播 30–75|它为什么会"一本正经地胡说"
接着上次的体验,看几个真实的翻车现场:
- 让它写一篇文献综述,它编出根本不存在的参考文献。
- 问它一条政策,它答得头头是道,其实是两年前的旧版。
- 让它算一笔账,它算错了还特别自信。
三个翻车对应三个原因:它在"编得像",不是"查得准";它脑子里的世界停在训练那一刻;它不会算数。 这些都不是 bug,是它的工作方式。
顺带教你第一招排查法(后面还会用到):AI 答错了,先想清楚错在哪——是它不会、还是你没给资料、还是需要联网查、还是它不会算?先定位,再对症下药。
直播 75–120|什么时候必须让人上
分清三件事,你就不慌:
- 它能做:写、总结、翻译、改错、整理、给建议。
- 它要小心:查实时信息(要联网)、查你公司的资料(要挂知识库)、算数(要接工具)——这些后面几讲会一个一个给它补上。
- 必须让人来:要担责的决定、对外说的话、涉及钱和承诺的事。
这一讲想让你记住:先分清"它知道的"和"它猜的",再决定信不信它。 从第 4 讲开始,我们就教你怎么"给它喂资料、接工具",把猜的那部分补成真的。
当堂练一个(8 分钟):下面几件事,你来判"AI 能做 / 要小心 / 必须人上":
- 帮我写一封给客户的道歉邮件;
- 查一下明天会不会下雨;
- 决定给这个供应商打不打款;
- 查我们公司的报销制度、回答员工的提问;
- 帮我把这 100 行数据算个总数。
课后:做一张三栏清单 + 记一次翻车
做一张"AI 擅长 / 不擅长 / 要小心"的三栏清单(每栏至少 5 条)。再记一次你亲眼见到的"AI 翻车":它当时怎么编的、你怎么识破的。
这节课你该会的:
- 能用大白话说清"它为什么像人一样回答";
- 能举出 2 个"它翻车"的例子,并说出怎么识破的;
- 能判断"什么时候必须让人上"。
三个翻车:
- 把"资料没给"当"模型不行"——先补资料,再怪模型;
- 把"语气笃定"当"正确"——越自信越要查;
- 让它替人拍板——要担责的事,永远是人的。
第二部分:智能体三根支柱(第 4–8 讲)
前三讲你学会了"用"AI,从这一部分开始,我们要学着"造"AI。先记住一个总纲:一个智能体 = 指令 + 知识 + 工具 + 入口——指令是"让它干什么",知识是"它凭什么答",工具是"它怎么查数、动手",入口是"用户从哪儿用上它"。前三讲练的是"指令"(把话说清楚),这一部分起逐个补上"知识、工具",第 10 讲再把它整个组装起来。
这一部分每讲给同一个项目加一根"支柱":知识库(它凭什么答)、工具调用(它怎么查数)、记忆(它凭什么记住),加上第 7 讲结构化输出、第 8 讲工作流,一个智能体的骨架就立起来了。
延伸自读:《原理讲义》§3
展开查看
一句话定义
大语言模型不是一本"查答案的字典",而是一台按概率往下续写的机器。它每次吐出来的东西,由三件事决定:它一次能看见多少字(上下文窗口)、它用什么方式挑词(采样与 temperature)、它学到的世界停在哪个时间点(知识截止)。幻觉不是 bug,是这套机制在信息不够时的必然结果。
核心原理
Token:模型眼里的"字"跟你不一样。 模型把文本切成 token——常见词一个 token,生僻词或复合词会被拆成好几个。长度预算、成本、上下文"能装多少",全按 token 算,不按字符算,中英文数字混排时差得更多。这是"不能无脑塞全文"的第一个原因。
上下文窗口:模型只能看见窗口里的东西。 它每次生成能同时看到的文字是有上限的,窗口之外对它来说等于不存在。它像个"今天刚入职、只翻过你递来的几页纸"的实习生:纸外的东西它一概不知道,却会用训练时学来的常识去补,而不是老实说"我没看到"。贴不贴资料,结果会差一个量级。
采样与 temperature:它不是在"查答案",是在"抽词"。 生成时模型先给每个候选词一个概率,再按概率抽一个出来。temperature 是调节随机性的旋钮:调低,它倾向每次都挑概率最高的那个词,输出稳定保守;调高,低概率的词也可能被选上,更多样也更容易跑偏。所以同一个问题问两遍答案可能不一样、换个问法答案会漂移——这是机制本身,不是"模型坏了"。
幻觉:抽词的副作用,加上信息没给够。 当上下文里没有答案、模型又不肯承认"不知道",它还是会按概率抽出一串最顺嘴的话——这就是幻觉。根因有两层:机制上,它本来就在做概率续写,不是在核对事实;信息上,该给的材料没给、该写的规则没写。所以换更强的模型也消灭不了幻觉,只能靠补材料、要引用、允许它说不知道来压。
知识截止:它脑中的世界停在训练那一刻。 模型的知识来自训练语料,语料里没有的、以及训练之后才发生的事,它并不知道,而且不会主动说"这个我不确定",反而用旧事实答得十分自信。凡是碰到"现在、最新、今年、实时价格库存政策"这类事,必须联网或查库,不能靠它记忆。
常见误区 / 边界
- 别把"资料没给"当"模型不知道":前者贴资料就行,后者要联网查库,两种处理完全不同。
- 别把"规则没写"当"幻觉":某零售企业客服被问"补差价能否发顺丰",知识库只有默认圆通的规则,模型就硬答——这是规则没定义,它怎么答都是在替企业拍板。
- 别以为"问两遍答案一定一样":想每次都一样,靠的是降 temperature + 固定输入 + 结构化输出,而不是赌运气。
- 别把"语气笃定"当"正确":模型的自信和事实无关,编的时候一样流畅。
- 别把"模型记忆"当"实时数据":旧答案未必错,但可能已经过时。
一句可带走的话
模型是一台"按概率续写、只看窗口内、世界停在训练那一刻"的机器——给材料、要引用、允许说不知道,是压幻觉的三件事,缺一不可。
案例包 · 15 题自测
展开查看
15 道题分三块,各约 5 道:①它为什么像人(按概率往下写);②它为什么会编(幻觉、知识截止);③什么时候必须让人上(要担责/对外/涉及钱)。
每题都有解析,容易错的地方标了出来。大家错得多的题,就是直播时要重点讲的。
- (单选)大模型回答问题时,本质上是在做什么?
- A. 从数据库里找到正确答案
- B. 按概率一个字一个字猜下一个词,把话接下去
- C. 上网搜索后再回答
- D. 把整篇文章背下来
答案:B | 解析:它是"按概率往下写",不是"查答案库",所以既会流畅,也可能错。 容易错:学生常以为 AI 像搜索引擎一样"查"出答案。
- (判断)大模型回答得通顺、有条理,就说明它理解了你、答案是对的。
答案:错 | 解析:通顺只说明它"接话"接得好,不等于"理解"或"正确"。 容易错:这是理解 AI 一切行为的总钥匙,很多人就栽在"它说得太顺了"上。
- (单选)"它不会主动说'我不知道'"意味着什么?
- A. 它什么都知道
- B. 它一旦开口,就会流利地把话说完,哪怕不会
- C. 它只在联网时才知道
- D. 它拒绝回答所有问题
答案:B | 解析:它没有"我不知道"的自觉,不会就顺着往下编一个。 容易错:学生常以为它不知道就会老实承认。
- (单选)为什么它回答得又快又流利,我们反而要更小心?
- A. 快说明它没认真想
- B. 快和流利来自"往下接话",不代表它查证过
- C. 快说明它抄了答案
- D. 流利说明它理解深刻
答案:B | 解析:流利是"接话"的本事,不是"查证"的结果,两者是两回事。
- (判断)问它一道它不知道的题,它要么老实说不知道,要么编一个,两者概率差不多。
答案:错 | 解析:它大概率会编得像模像样,而不是老实说不知道;所以别指望它主动交底。
- (单选)让它写文献综述,它编出根本不存在的参考文献,原因是?
- A. 联网没连上
- B. 幻觉——它在"编得像",不是"查得准"
- C. 数据库坏了
- D. 它故意骗你
答案:B | 解析:参考文献要逐条真实可查,它没查,只是按套路拼了一个像真的。
- (单选)问它一条政策,它答得头头是道,其实是两年前的旧版,原因是?
- A. 它联网搜到了旧网页
- B. 知识截止——它脑子里的世界停在训练那一刻,之后的变化它不知道
- C. 它故意说旧的
- D. 提示词写错了
答案:B | 解析:政策会更新,它的知识是训练时冻结的,新版本得联网或查资料才知道。 容易错:学生常以为它"刚查过",其实它啥也没查。
- (单选)让它算一笔账,它算错了还很自信,根本原因是?
- A. 它故意算错
- B. 它不擅长精确计算,是把"像答案"的数说出来,还说得特别肯定
- C. 它没联网
- D. 数字太大了
答案:B | 解析:它是"按概率往下写",不是真的在竖式运算,所以数字靠不住。
- (判断)幻觉、知识过期、算错,都是 AI 的 bug,修好了就不会再犯。
答案:错 | 解析:这些不是 bug,是它按概率生成的工作方式,只能靠查证、联网、接工具来补,不能指望它"改好"。
- (单选)AI 答错时,第一招排查法是?
- A. 直接换个模型
- B. 先定位错在哪:是它不会、还是没给资料、还是需要联网查、还是它不会算
- C. 把提示词写长一倍
- D. 多问几次直到答对
答案:B | 解析:先定位再对症下药,别急着换模型或改提示词,后面几讲就是逐个补这些能力。
- (单选)以下哪件事 AI 可以做,不必强制让人来?
- A. 写一份会议纪要初稿
- B. 对外正式发布的通知
- C. 涉及钱款支付的承诺
- D. 要有人担责的决定
答案:A | 解析:写/总结/翻译/改错/整理/给建议它能做;对外、担责、涉钱必须让人来。 容易错:学生分不清"起草"和"发布"——起草可以,发布前必须人审。
- (判断)对外发布的文字,AI 写完只要读起来通顺,就可以直接发。
答案:错 | 解析:对外说的话要人负最终责任,AI 只是草稿,发之前必须人核一遍。
- (单选)涉及钱和承诺的事,正确做法是?
- A. 让 AI 直接报价、做承诺
- B. 让它先起草,人核实数字和承诺后再定
- C. 完全不用 AI
- D. 让 AI 决定金额
答案:B | 解析:涉及钱和承诺必须让人把关,AI 可以起草,不能拍板。
- (判断)"它知道的"和"它猜的",从语气上就能分清楚。
答案:错 | 解析:它说"知道的"可能是猜的,语气笃定不保证正确;分不清就查证,别靠感觉。 容易错:学生常被它笃定的语气带跑。
- (单选)这一讲最该记住的一句话是?
- A. AI 什么都能干,放心用
- B. 先分清"它知道的"和"它猜的",再决定信不信它
- C. 提示词越长越好
- D. AI 反正会出错,干脆别用
答案:B | 解析:别全信也别全弃,先分清哪部分能信、哪部分要查,再用。
案例包 · 案例拆解素材
对应:第 3 讲「AI 的能力边界:它擅长什么、不擅长什么」
课堂用时:案例拆解 45 分钟(直播 75–120)
材料与提示词思路:全部内联在本文件
1. 客户和场景
一个刚开始用 AI 的普通人——可能是学生,也可能是职场新人——把 AI 当成了"全知全能"的助手,三个场合都直接拿它的结果去用了:写论文让它出参考文献、办事让它查政策、报账让它算钱。结果三次都被它"一本正经"地带偏了。
三个场景正好对应它的三种工作方式:编得像(幻觉)、记得旧(知识截止)、算不准(不会算数)。它们不是偶发的故障,是它按概率往下写的必然结果。
2. 为什么拿这个案例来讲
- 三个场景都是零基础的人最常踩、也最可能"真出事"的场合;
- 后果真实:假参考文献可能让论文被认定学术不端,旧政策可能让你跑错窗口,算错的账可能让你多付或少收钱;
- 它逼学生分清"它知道的"和"它猜的"——两者语气一样笃定,只能靠查证来识破;
- 可迁移:任何"要担责、对外、涉及钱"的事,都能套这三个翻车的判断方法。
3. 原始材料(三个翻车现场)
| 场景 | 你问它的话 | 它的回答(像真的) | 真相 |
|---|---|---|---|
| ① 编 | "帮我写一段文献综述,附 5 条参考文献" | 列出 5 条格式标准、作者期刊俱全的文献 | 那 5 条文献根本不存在,作者、期刊、卷期都是编的 |
| ② 旧 | "今年的生育津贴政策是多少?" | 答得头头是道,给出一串数字和条件 | 它答的是两年前的旧版,今年的标准早就变了 |
| ③ 算错 | "帮我算:128 件 × 单价 37.6 元,再加 6% 税,总共多少?" | 给一个数字,说得特别肯定 | 数字是错的,它根本没真算,只是"说得像算过" |
4. 期望输出
| 场景 | 正确处理 |
|---|---|
| ① 编 | 每条参考文献都要能查到;查不到就标注"未核实",不列进正文 |
| ② 旧 | 注明"我的知识截止到某时,政策可能已更新,请以官网最新文件为准" + 给查证入口 |
| ③ 算错 | 让它只列算式、给出每一步,人用计算器/表格复核;涉及钱的数,人不复核不用 |
5. 故意埋的三个坑
坑 1:编参考文献(幻觉)
现象:它列出的参考文献格式规范,作者和期刊都对得上套路,看着就像真的。
为什么会错:它是"编得像",不是"查得准";参考文献这种要逐条真实可查的东西,它没有记忆,只能按套路拼一个像真的。
怎么识破:拿其中一条去学术数据库或学术搜索引擎搜一下——搜不到,就是编的。真文献一定能查到。
坑 2:答两年前的旧政策(知识截止)
现象:它答得头头是道,数字、条件、口径一应俱全,你差点就信了。
为什么会错:它脑子里的世界停在训练那一刻,之后政策改了它不知道;它也不会主动说"我不确定这是不是最新"。
怎么识破:看它有没有给出"信息来源 + 生效时间"。没有,就自己去官网核对最新版本。
坑 3:算账算错还很自信(不会算数)
现象:它一口报出一个数,语气笃定,比你自己算的还像真的。
为什么会错:它不是在做算术,是按概率"往下写"一个像答案的数,写得越顺显得越可信。
怎么识破:要它给过程(先算什么、再算什么、每一步的数),再用计算器核对;数字对不上、过程跳步,就别信。
6. 两版提示词思路(内联)
- v1(故意有缺陷):直接问"帮我写文献综述附参考文献 / 这条政策是多少 / 帮我算这笔账",不要求给依据,拿到结果就信。
- v2(修复后):加上"不确定就明说不确定,不要编"、"每条都给出处和生效时间,查不到就说查不到"、"涉及钱的只给算式和步骤,由人复核后再用"。
7. 验收样例(3 条)
| # | 问题 | 期望 | 判定 |
|---|---|---|---|
| 1 | 帮我写文献综述附 5 条参考文献 | 每条约真实可查,查不到就标注未核实 | 通过 |
| 2 | 今年生育津贴政策是多少? | 注明知识截止 + 提醒以官网为准,不冒充最新 | 通过 |
| 3 | 帮我算这批货总价(含税) | 只给算式和步骤,人复核后确认,不直接拍板金额 | 通过 |
8. 案例拆解 45 分钟怎么走
| 分钟 | 做什么 |
|---|---|
| 0–5 | 先问全班:"这三个结果,你会直接拿去用吗?"收集几只手,不评价 |
| 5–15 | 现场跑场景①,让 AI 写文献综述,全班一起挑"哪条参考文献是假的" |
| 15–28 | 跑场景②③,让 AI 答政策、算账,现场核对真相,看它怎么"一本正经地错" |
| 28–40 | 换 v2 提示词重跑,看"要它给依据 / 承认不知道"能不能拦住一部分错 |
| 40–45 | 收口:先分清它知道的还是它猜的,再决定信不信;要担责、对外、涉及钱的,必须让人上。 |
9. 一句话总结
AI 会编、会旧、会算错,而且每次都说得特别笃定;别把"语气笃定"当"答案正确",先分清它知道的还是它猜的,再决定信不信它。
案例包 · 课后操作单
目标:能分清"它知道的"和"它猜的",知道什么时候必须让人上。
时间:课后 60 分钟。
你要交的东西
- 一张三栏清单:AI 擅长 / 不擅长 / 要小心,每栏至少 5 条;
- 一次你亲眼见到的 AI 翻车记录:它当时怎么编的、你怎么识破的。
怎么做
第 1 步:列"擅长"栏(15 分钟)
回想这两讲用过的场景,把 AI 干得好的列出来:写、总结、翻译、改错、整理、给建议……每条写一句"它帮我把 XX 变成了 XX"。
第 2 步:列"不擅长"栏(15 分钟)
把它做不到的列出来:不知道实时信息、不知道你公司的内部资料、不会精确算数、没有真实依据时会编……每类配一个你试过的例子。
第 3 步:列"要小心"栏(15 分钟)
把它能做、但你要盯着的事列出来:对外发布前要人审、涉及钱要人复核、要担责的决定要人拍板、查实时信息要先联网、查内部资料要先喂资料。
第 4 步:记一次翻车(15 分钟)
挑一次你亲眼见到的 AI 翻车,写清三件事:你问了什么、它怎么答(像不像真的)、你怎么发现是错的。
课后作业
- 从"要小心"栏里挑一条,写 100 字:这件事为什么不能直接信 AI、要人做什么。
- 把翻车记录里"你怎么识破的"那一句,翻译成一条可以教给别人的经验。
达标标准(这节课你该会的)
- 能用大白话说清"它为什么像人一样回答";
- 能举出 2 个"它翻车"的例子,并说出怎么识破的;
- 能判断"什么时候必须让人上"。
容易踩的坑
- 三栏写得太泛("AI 很厉害""AI 会出错"),要具体到"写、总结、翻译""不会算数、会编文献"。
- 只记翻车"结果错了",不记"它当时说得有多笃定"——笃定恰恰是这一讲的重点。
- 把"要小心"写成"不能用",其实它能起草,只是要人把关。
案例包 · 教师脚本(教师用)
展开查看
课前准备
- 把三个翻车现场准备好(见 case_card.md):文献综述、旧政策、算账。
- 自己先跑一遍,确认它确实会编参考文献、答旧政策、算错账还很自信。
- 开课前看 quiz 错误率,圈出大家错得多的题。
0–30|它为什么"像人一样"回答
- 大模型不是理解你,是按概率预测下一个词,一个字一个字往下拼(10 分钟)。
- 通顺不等于正确——这是理解它一切行为的总钥匙(10 分钟)。
- 它不会主动说"我不知道",一旦开口,就流利地把话说完(10 分钟)。
30–75|它为什么会"一本正经地胡说"(3 个翻车)
- 翻车①编参考文献:现场让它写文献综述,全班一起挑哪条是假的,去数据库一搜就穿帮 → 幻觉。
- 翻车②旧政策:问政策,它答得头头是道,其实是两年前的旧版 → 知识截止。
- 翻车③算错账:让它算一笔账,算错了还特别自信 → 它不会算数,是按概率往下写。
三个翻车对应三个原因:它在"编得像"、它脑子里的世界停在训练那一刻、它不会算数。 这些不是 bug,是它的工作方式。
顺带教第一招排查法:AI 答错了,先想清楚错在哪——是它不会、还是没给资料、还是需要联网查、还是它不会算?先定位,再对症下药。
75–120|什么时候必须让人上
- 它能做:写、总结、翻译、改错、整理、给建议(10 分钟)。
- 它要小心:查实时信息(要联网)、查你公司的资料(要挂知识库)、算数(要接工具)——后面几讲逐个给它补上(15 分钟)。
- 必须让人来:要担责的决定、对外说的话、涉及钱和承诺的事(15 分钟)。
收口(5 分钟):先分清"它知道的"和"它猜的",再决定信不信它。从第 4 讲起,我们教你怎么"给它喂资料、接工具",把猜的那部分补成真的。
标准答案
- 编参考文献 → 幻觉,要逐条查证,查不到就标注"未核实"。
- 旧政策 → 知识截止,要注明"以官网最新为准"。
- 算错账 → 不会算数,只给算式和步骤,人复核。
- 对外 / 担责 / 涉钱 → 必须让人上,AI 只做草稿。
学生会错在哪
- 把"通顺"当"正确"——觉得它说得有模有样就一定对。
- 把"语气笃定"当"有依据"——其实它越顺越要查。
- 以为参考文献、政策、账目它会"查"过——其实它啥也没查。
- 分不清"起草"和"发布"——起草可以,发布 / 拍板前必须人核。
- 一出错就想换模型——不先定位错在哪,换模型也白换。
评分点(每条 1 分,共 5 分)
- [ ] 能说清大模型是"按概率往下写",不是"理解"和"查答案";
- [ ] 能分别解释三个翻车的原因(编 / 旧 / 算错);
- [ ] 能把"要小心"和"必须让人上"分开;
- [ ] 三栏清单每栏 ≥ 5 条且具体;
- [ ] 翻车记录写清了"怎么识破"。
如果学生问"它答得这么顺,我怎么知道它是不是在编"
回答:看它给没给依据。给了出处、生效时间、过程,你可以顺着去查证;没给、或者查不到,就当它是在编。顺滑的表述从来不能当证据,能查证的才叫答案。