课前：先自学，再做 15 道题
上课前，先花点时间自己看一页材料，就三样：
- 弄懂 3 个词：Beta（核心任务可用 + 限制写清 + 能回退）、运行手册（外人照着能启动/修/回退）、试点（小范围 + 有时限 + 有停止条件）。
- 记住 1 个比方：能演示 ≠ 能交付，差一份手册和一个别人能访问的入口。
- 记住 1 条红线：手册只写"外人需要知道的"，别写成开发文档（除非你的用户真是开发者）。
看完做 15 道自测题。哪几道大家错得多，直播时老师就重点讲哪几道。
直播 0–30｜把核心快速过一遍
- Beta 不是"功能全"，是"核心可用 + 限制写清 + 能回退"。 三件事同时成立。
- 运行手册只写外人需要知道的。 怎么打开/登录、技能名/版本/可见范围、常见错误 5 条、找谁、怎么回退。
- 试点是小范围、有时限、有停止条件的验证。 不是"上线"，是"找 5 个人用两周，看它到底有没有用"。
- 上线节奏五步，逐步扩大自动化。 离线评测 → 影子运行（人照常工作，Agent 后台跑同一任务对比，不影响真实用户）→ 辅助模式（Agent 给建议，人确认，统计采纳率）→ AI First（仅高置信度低风险自动执行，退款/高价值客户转人工）→ 持续运营（监控准确率/异常率/人工介入率/成本）。企业 Agent 不要开发完就直接接管生产。
直播 30–75｜挑大家做错的题讲
- 演示版 ≠ 提交版，现场改了代码报告没更新，一问就穿帮。
- 密钥写在前端，发布即泄露。
- 手册写成开发文档，用户看不懂，等于没有。
直播 75–120｜拆一个真实案例：试点一页纸
每组填一页模板：试点目标（谁在什么场景用系统完成什么任务）/ 试点用户 5 人 / 周期 2 周 / 样本量 100 次 / 成功标准（完成率 ≥80%、返工率 ≤20%、高风险误放行 =0、愿意继续用 ≥3 人）/ 停止条件（1 次高风险误放行即停、连续 3 天不可用停、使用率 <20% 复盘）/ 人工兜底（结果先进人工队列确认后生效）。
课上三组交换挑刺，只问三问——指标怎么量、什么情况立刻停、用户不用怎么办。
这一讲想让你记住的就一句：试点不是"上线"，是"找 5 个人用两周，看它到底有没有用"。
当堂练一个（8 分钟）：挑一个你做过或常用的 AI 小工具（哪怕只是你平时让 AI 干的某件事），写一句邀请发给身边 2–3 个人："这是我做的小工具，帮我用 2 分钟试一下，卡在哪直接告诉我。"注意：不要解释怎么用——你一解释，就测不出它到底好不好用了。记下他们第一句问什么、卡在哪、有没有用第二次，最后只挑一个"人人都卡住"的地方记下来。
判断标准：能说出"X 个人卡在同一个地方"，而不是"大家说挺好的"；并且敢承认——卡住的地方，就是下一步最该修的地方。
课后：答疑 + 陪跑，交一份作业
冻结 Beta 打版本号、写 1 页 5 节手册、清理（删密钥/真实信息/调试入口）、交接测试（另一组只看手册复现，把"手册里没写"的问题记下来补进去）。
这节课你该会的：
- 能写出"外人照着就能跑起来"的运行手册（别人不看你屏幕、不问你就能完成核心任务）；
- 手册里的常见错误是真实收集的，不是拍脑袋编的；
- 知道怎么回退到上一版，并写清 Beta 的限制和试点的停止条件。
三个翻车：
- 演示版 ≠ 提交版——现场改了没同步，一问就穿帮；
- 密钥写在前端——一发布就泄露；
- 手册写成开发文档——用户看不懂，等于没有手册。
延伸自读：《原理讲义》§14
展开查看
一句话定义
交付不是"开发完给你看"，而是让一个没参与项目的人，照着你的手册，在没有你的环境里，把它跑起来、修得动、退得回。一句话：能演示 ≠ 能交付，中间差一份手册和一个别人能访问的入口。
核心原理
1. 交付的判据是"可复现"，不是"演示成功"。 演示是"在受控条件下的一次采样看起来对"；交付是"换个人、换个时间、换个入口，结果依然可预期、出错可恢复"。生成式系统是概率的，同一输入两次输出可以不同，你没法在上线前证明"处处都对"；你能证明的，只有"跑起来的步骤可被外人复现"和"出错时能退回上一个已知状态"。这两条才是门槛，而不是那一次惊艳的现场效果。
2. Beta 三件事同时成立，回滚是它的安全阀。 Beta 不是"功能做全"，而是核心任务可用 + 限制写清 + 能回退。为什么三件缺一不可？核心不可用，交付的是空壳；限制写不清，用户会用到你没想到的场景，风险范围失控；不能回退，一次错误就是永久损失。回滚的本质不是"撤销代码"，而是"从错误状态回到上一个已知良好状态的能力"——它必须提前设计（打版本号、留切换开关、保留上一版可一键退回），而不是出事时才想。把"能回退"写进 Beta 的定义，等于把"出错"从事故降级为一次可撤销的尝试。
3. 运行手册的本质，是把"只有你脑子里知道的事"写成文字。 手册不是开发文档，是"外人需要知道的"：怎么打开/登录、当前是什么版本与可见范围、最常见的几条错误怎么修、找谁、怎么回退。它为什么重要？因为交付的人终会离开，系统的生死取决于知识有没有落在人脑之外。判据很硬：交接测试——让另一组人只看手册、不问你，能否把系统启动、修好一次常见故障、再回退一次。凡是"问一句才知道"的地方，都是手册的缺口，补进去，直到外人不再需要你。
4. 试点与上线节奏：逐步放权，且每一步都预先写好停止条件。 试点不是上线，是"小范围、有时限、有停止条件"的验证——找几个人用两周，看它到底有没有用。它和离线评测的分工是：离线只能测"你想得到的场景"，只有真实用户能暴露"你想不到的场景"；但全量上线风险不可控，所以试点用小规模换取真实证据。上线节奏的本质，是逐步把自动化权交给系统、同时保留人的兜底：离线评测 → 影子运行（人照常工作，系统后台跑同一任务对比，不承担后果地收集真实表现）→ 辅助模式（系统给建议、人确认、统计采纳率）→ AI First（只对高置信度、低风险的动作自动执行，退款、高价值客户等高风险一律转人工）→ 持续运营。为什么不能直接 AI First？概率系统的误差会沿链路累积：十个各九成五成功率的步骤串起来，整条链路一次走通的概率只剩约六成；必须先在不承担后果的影子态把数字测出来，再逐步放权。停止条件是试点的灵魂——"一次高风险误放行即停、连续多天不可用即停、使用率过低复盘"，把止损从情绪决策变成事先写好的规则。
常见误区 / 边界
- 别把演示版当提交版：现场改完代码、报告没同步，一问就穿帮；提交前要冻结版本、清理密钥与真实信息。
- 别把手册写成开发文档：用户看不懂，等于没有；只写"外人需要知道的"，内部实现细节不是手册读者需要的内容。
- 别把"上线"和"试点"混为一谈：试点是"找几个人用两周看有没有用"，不是"全量接管生产"。
- 别开发完直接 AI First：企业级 Agent 不应开发完直接接管生产，要沿"影子→辅助→AI First"逐步放权，剩余风险靠人工兜底。
- 别把回滚留到出事之后：回滚是设计出来的，不是应急想出来的；没有版本号、没有切换开关，就没有回滚。
- 别用"自动化率"衡量成功：试点成功看的是"有没有用、敢不敢继续用"，不是"自动执行了多少步"。
一句可带走的话
交付的终点不是"它能跑"，而是"没你它也能跑、跑错了能退回来"；把自动化权一点点放出去，每一格都留一道人的兜底。
案例包 · 15 题自测
展开查看
这 15 道题分五块：Beta 三件事 / 手册五节 / 交付清理 / 试点停止条件 / 上线节奏五步。
每题都有解析，容易错的地方标了出来。大家错得多的题，就是直播时要重点讲的。
- （单选）一个"Beta 版"要成立，必须同时满足哪三件事？
- A. 功能齐全、界面好看、响应快
- B. 核心任务可用、限制写清、能回退
- C. 有演示视频、有测试报告、有文档
- D. 代码能跑、有密钥、能联网
答案：B ｜ 解析：Beta 不是"功能全"，三件事同时成立缺一不可。
- （判断）Beta 就是"功能还没做完的版本"，所以功能越多越接近交付。
答案：错 ｜ 解析：Beta 的关键是"核心可用 + 限制写清 + 能回退"，不是堆功能。
- （单选）"能回退"具体指什么？
- A. 代码有 git 提交历史
- B. 出问题时能退回上一个可用版本，或退回人工流程
- C. 数据库有备份
- D. 服务器能重启
答案：B ｜ 解析：回退是"出问题能退回上一版或人工流程"，不是"有版本记录"。
- （单选）下面哪条属于"限制写清"？
- A. 暂不支持多语言，仅处理中文工单
- B. 底层用了最新的大模型
- C. 代码共 3000 行
- D. 团队采用敏捷开发
答案：A ｜ 解析：限制 = 什么还不能做、什么还不支持，让用户知道边界。
- （单选）运行手册的唯一读者是谁？
- A. 开发者自己
- B. 一个没参与项目、要把它跑起来的人
- C. 模型供应商
- D. 投资人
答案：B ｜ 解析：手册的标准是"外人照着能启动 / 修 / 回退"。
- （单选）下面哪一项不该写进"运行手册"？
- A. 怎么打开 / 登录
- B. 技能名 / 版本 / 可见范围
- C. 数据库表结构和模块依赖
- D. 常见错误 5 条 + 找谁 + 怎么回退
答案：C ｜ 解析：C 是开发文档，不是"外人需要知道的"。 容易错：很多人以为"写全 = 写好"，结果把手册写成了开发文档。
- （判断）运行手册越详细越好，系统架构、依赖、部署过程都应该写进去。
答案：错 ｜ 解析：写成开发文档，用户看不懂，等于没有。
- （单选）王强把 API 密钥明文写进前端页面代码，最可能的后果是？
- A. 页面加载变慢
- B. 发布即泄露，任何人查看网页源码都能拿到密钥
- C. 模型回答质量下降
- D. 不会有什么问题
答案：B ｜ 解析：密钥写前端 = 发布即泄露；应放后端 / 环境变量，前端只拿短期令牌。 容易错：很多人以为"前端代码别人看不到"。
- （单选）演示时王强临时把置信度阈值从 0.8 改成 0.6，演示顺利。交付 Beta 前最该做什么？
- A. 直接提交，演示通过了就行
- B. 把改过的代码冻结、打版本号，并同步更新报告里的参数
- C. 把阈值改回 0.8 再交
- D. 把这个改动写进开发文档
答案：B ｜ 解析：演示版 ≠ 提交版，现场改的代码要冻结进版本、报告同步，否则交接一问就穿帮。 容易错：很多人以为"演示通过 = 可以交"。
- （单选）"试点"的正确理解是？
- A. 正式上线，全量开放
- B. 找 5 个人用两周，看它到底有没有用
- C. 内部给领导演示一遍
- D. 挂个链接让大家随便用
答案：B ｜ 解析：试点 = 小范围 + 有时限 + 有停止条件，不是"上线"。 容易错：很多人把"试点"当"上线"，选 A。
- （单选）下面哪条是合格的"停止条件"？
- A. 用户反馈不好就停
- B. 发生 1 次高风险误放行即停
- C. 领导说停就停
- D. 成本太高就停
答案：B ｜ 解析：停止条件要可量化、可自动触发，B 明确"1 次即停"。
- （判断）试点成功标准里"高风险误放行 = 0"的意思是：高风险场景错一次也必须停，不能用"平均准确率"掩盖。
答案：对 ｜ 解析：高风险单独看，只有 0 或 1，一次误放行即触发停止条件。
- （单选）试点阶段"人工兜底"的正确做法是？
- A. Agent 结果直接生效，出问题再改
- B. Agent 结果先进人工确认队列，确认后才生效
- C. 试点期间不用人工
- D. 出错自动重试直到成功
答案：B ｜ 解析：试点阶段结果先进人工队列确认，是兜底的核心。
- （单选）企业 Agent 正确上线节奏的第一步是？
- A. 直接接管生产
- B. 离线评测
- C. 找 1000 个用户公开测试
- D. 开发完就上线
答案：B ｜ 解析：离线评测 → 影子运行 → 辅助模式 → AI First → 持续运营，逐步扩大自动化。
- （判断）企业 Agent 测试都通过了，就可以开发完直接接管生产。
答案：错 ｜ 解析：企业 Agent 不开发完直接接管生产，必须按五步逐步扩大自动化，剩余风险靠人工兜底。 容易错：很多人以为"测试通过 = 能直接上线"。
案例包 · 案例拆解素材
对应：第 14 讲「交付与运行手册」
课堂用时：案例拆解 45 分钟（直播 75–120）
材料与提示词思路：全部内联在本文件
1. 客户与场景
美研智答是一个美妆零售知识库 + 合规问答 Agent（真实项目），全国门店 80 多家，电商覆盖天猫、京东、抖音，SKU 约 3000+。现在的情况是：Demo 在内部演示通过了，开发组长想"直接上线"。可问题在于，能演示 ≠ 能交付——它还跑在开发机本地，密钥写在前端，没有运行手册，没有试点计划，也没有回滚方案。
2. 为什么这个案例值得教
- 它逼学生回答一个真问题：能演示 ≠ 能交付，两者之间差一份手册、一个别人能访问的入口、一条逐步扩大自动化的上线节奏；
- 它的错误后果很真实：密钥写前端，一发布就泄露；手册写成开发文档，用户看不懂；试点没有停止条件，出问题就收不回来；
- 它带出企业 Agent 上线的硬门槛：整条链路准确率稳定在 90% 以上，其余风险靠人工兜底。
3. 上线节奏（Day4 真实方法论，五步）
| 步 | 做法 | 关键 |
|---|---|---|
| ① 离线评测 | 用历史真实问题跑 Agent，专家抽样打分 | 验证准确率与失败类型 |
| ② 影子运行 | 人照常工作，Agent 后台跑同一任务对比 | 不影响真实用户 |
| ③ 辅助模式 | Agent 给建议，人确认/修改/拒绝 | 统计采纳率 |
| ④ AI First | 仅高置信度、低风险自动执行 | 退款/高价值客户转人工 |
| ⑤ 持续运营 | 监控准确率/异常率/人工介入率/成本 | 把新 Bad Case 加入评测集 |
4. 系统接入的真实边界（美研智答 Day4）
- 架构：客户端 → API 网关/JWT → 会话与 RAG/工单 → Agent 编排 → 模型/向量库/合规检查/飞书文档/CRM；
- 安全项：OAuth2/JWT/API Key、最小权限、脱敏、加密、密钥管理（环境变量）、审计日志、重试与降级；
- 当前工具少时，用 REST API + CLI 封装，不盲目引入 MCP。
5. 故意埋的三个坑
坑 1：密钥写在前端（发布即泄露）
把模型 API Key 明文写在前端的 config.js，页面直接调模型——图省事，结果密钥跟着前端代码一起发布，谁看一眼网页源码都能拿到。正确做法是：密钥放后端或环境变量，前端只拿短期令牌；交付前把密钥、真实信息、调试入口都清干净。
坑 2：手册写成开发文档（用户看不懂）
手册里全是 K8s、PostgreSQL 表结构、npm 命令，一线客服根本看不懂——把"写全"当"写好"，把开发文档当成了运行手册。正确做法是：只写"外人需要知道的"五节——怎么打开/登录、技能名/版本/可见范围、常见错误 5 条、找谁、怎么回退。
坑 3：试点没有停止条件，把"试点"当"上线"
试点计划写的是"全员 20 人、一直用、分派正确就行"，没有停止条件，也没有人工兜底——把试点当成正式上线了，只想"推出去"，没想"什么情况要收回来"。正确做法是：试点 = 小范围（5 人）+ 有时限（2 周）+ 有停止条件（1 次高风险误放行即停、连续 3 天不可用停、使用率 <20% 复盘）+ 人工兜底。
6. 两版提示词思路（内联）
- v1（故意有缺陷）：交付前不做清理，密钥明写、不做回滚、试点无停止条件——"能跑通就行"。
- v2（修复后）：冻结 Beta + 版本号；清理（删密钥/脱敏/关调试）；一页 5 节运行手册；试点一页纸（成功标准 + 停止条件 + 人工兜底）；可回退到上一版。
7. 验收样例（3 条）
| # | 检查项 | 期望 | 判定 |
|---|---|---|---|
| 1 | 密钥是否还在前端 | 已移到后端/环境变量，前端只有短期令牌 | 通过 |
| 2 | 运行手册 | 五节齐全，外人照着能启动/修/回退，无"问一下开发者" | 通过 |
| 3 | 试点计划 | 有停止条件（1 次高风险误放行即停）+ 人工兜底 | 通过 |
8. 案例拆解 45 分钟怎么走
| 分钟 | 做什么 |
|---|---|
| 0–5 | 发材料：Demo 通过但没交付的现状 + 上线节奏五步；问"王强说可以上线了，你同意吗？" |
| 5–15 | 找坑：三组分别暴露密钥写前端、手册成开发文档、试点无停止条件 |
| 15–30 | 判对错：用 v1 思路检查这份"交付物"，看它有多少隐患 |
| 30–40 | 给修复：换 v2 思路 + 补齐运行手册五节 + 试点一页纸 |
| 40–45 | 收口：能演示 ≠ 能交付；上线要按五步节奏，不一步到位 |
9. 一句话总结
企业 Agent 不开发完直接接管生产——按"离线评测 → 影子运行 → 辅助模式 → AI First → 持续运营"逐步扩大自动化，高风险永远留人工兜底。
案例包 · 课后操作单
目标：把你自己的项目从"能演示"变成"能交付"——冻结一个 Beta + 一份一页 5 节手册 + 一次交接测试。
时间：课后 60 分钟。
你要交的东西
- 一个冻结的 Beta（打了版本号，如
v0.1.0），并写清限制； - 一份一页 5 节运行手册（写给"没参与项目的人"看）；
- 一份试点一页纸（5 人 / 2 周 / 100 次 / 成功标准 / 停止条件 / 人工兜底）；
- 一次交接测试记录：另一组只看你的手册复现，把"手册里没写"的问题列出来补进去。
步骤
第 1 步：冻结 Beta + 清理（15 分钟）
- 把当前能跑的核心功能冻结，打版本号（如
v0.1.0），不要再顺手改代码。 - 清理三样东西：密钥 / 真实信息 / 调试入口。密钥移出前端，放进后端 / 环境变量。
- 写清限制：明确"支持什么、暂不支持什么"（例如"仅支持中文、暂不支持多语言"）。
第 2 步：写一页 5 节运行手册（15 分钟）
只写"外人需要知道的"五节：
- 怎么打开 / 登录（网址、账号、从哪里进）；
- 技能名 / 版本 / 可见范围；
- 常见错误 5 条（登录不上、结果为空、慢、报错等）；
- 找谁（出问题联系谁、哪个群）；
- 怎么回退（关掉开关退回人工，或切回上一版）。
提醒：不要写表结构、模块依赖、部署命令，那会让用户看不懂。
第 3 步：写试点一页纸（10 分钟）
按模板填一页：试点目标（谁在什么场景用系统完成什么任务）/ 试点用户 5 人 / 周期 2 周 / 样本量 100 次 / 成功标准（完成率 ≥80%、返工率 ≤20%、高风险误放行 =0、愿意继续用 ≥3 人）/ 停止条件（1 次高风险误放行即停、连续 3 天不可用停、使用率 <20% 复盘）/ 人工兜底（结果先进人工队列确认后生效）。
第 4 步：交接测试（20 分钟）
- 找另一组同学，只给他们你的运行手册，不给代码、不口头解释。
- 让他们照着手册，从零把系统跑起来。
- 记录每一个"手册里没写、他们卡住"的问题，逐条补进手册。
课后作业
- 把手册给一个"完全没碰过这个项目"的人（同学 / 家人）读，标出所有他看不懂的词，删掉或改写。
- 检查你交付的东西里有没有残留：密钥、真实手机号 / 邮箱、调试后门、没打版本号的临时改动。
- 写 100 字：如果下周这个系统在你们公司上线，你最怕发生的一件事是什么？它对应手册里哪一节？
达标标准（这节课你该会的）
- 能写出"外人照着就能跑起来"的运行手册（别人不看你屏幕、不问你就能完成核心任务）；
- 手册里的常见错误是真实收集的，不是拍脑袋编的；
- 知道怎么回退到上一版，并写清 Beta 的限制和试点的停止条件。
常见错误
- 交付前不冻结、不打版本号，交接时一问"你现在交的是哪个版本"就答不上来。
- 密钥写前端，一发布就泄露，任何人看源码都能拿到。
- 手册写成开发文档，用户看不懂，等于没有手册。
- 试点一页纸没有停止条件，出问题就收不回来，"试点"变成"失控的上线"。
- 交接测试自己讲给同学听——要"只看手册、不口头解释"才测得出手册缺什么。
案例包 · 教师脚本（教师用）
展开查看
课前准备
- 把美研智答"Demo 通过但没交付"的现状 + 上线节奏五步准备好（见 case_card.md）。
- 自己先跑 v1，确认它密钥写前端、手册成开发文档、试点无停止条件。
- 开课前看一眼 quiz 的错误率，圈出大家错得多的题。
0–30｜把核心快速过一遍（4 个点）
- Beta 不是"功能全"，是"核心可用 + 限制写清 + 能回退"（8 分钟）。
- 运行手册只写外人需要知道的（8 分钟）。
- 试点是小范围、有时限、有停止条件的验证（7 分钟）。
- 上线节奏五步，逐步扩大自动化（7 分钟）— 离线评测 → 影子运行 → 辅助模式 → AI First → 持续运营。
30–75｜挑大家做错的题讲
- 演示版 ≠ 提交版 → 现场改了报告没更新，一问就穿帮。
- 密钥写前端 → 发布即泄露。
- 手册写成开发文档 → 用户看不懂，等于没有。
75–120｜拆案例：美研智答，从 Demo 到生产交付
抛现状（5 分钟）：美研智答（美妆零售知识库 Agent）Demo 在内部演示通过了，开发组长说"可以上线了"。但还跑在开发机本地、密钥写前端、没有运行手册、没有试点计划。
找坑（10 分钟）：三组分别暴露①密钥写前端；②手册写成开发文档（全是 K8s/PG 表结构/npm 命令）；③试点没有停止条件（"全员 20 人、一直用"）。
判对错（12 分钟）：用 v1（"能跑通就行"）检查这份交付物，看有多少隐患。
给修复（13 分钟）：换 v2——冻结 Beta + 版本号、清理（删密钥/脱敏/关调试）、一页 5 节运行手册、试点一页纸（成功标准+停止条件+人工兜底）、可回退。
收口（5 分钟）：能演示 ≠ 能交付；上线按五步节奏，不一步到位；企业 Agent 整链准确率 90% 以上才敢扩大自动化。
标准答案
- 密钥移到后端/环境变量，前端只有短期令牌。
- 手册五节：怎么打开/登录、技能名/版本/可见范围、常见错误 5 条、找谁、怎么回退。
- 试点一页纸：5 人/2 周/100 次/成功标准/停止条件/人工兜底。
学生会错在哪
- 密钥写前端。
- 手册写成开发文档。
- 试点无停止条件。
- 演示版 ≠ 提交版。
评分点（每条 1 分，共 5 分）
- [ ] 密钥/真实信息已清理；
- [ ] 运行手册五节齐全，外人能复现；
- [ ] 试点一页纸有停止条件 + 人工兜底；
- [ ] 能说清上线节奏五步；
- [ ] 有回退方案（上一版还在）。
如果学生问"Demo 都通过了，为什么不能直接上线"
回答：Demo 只证明"这次采样通过"，没证明"换人、换数据、连续跑也能稳定"。上线要按五步（离线评测→影子→辅助→AI First→运营）逐步扩大自动化，高风险留人工兜底。