AI
AI 电商基础 入门课
第四篇章 · 电商业务流进阶
概念 免费公开课 第 07 / 08 节
让 AI 优化 AI：提示词自动迭代
4-5 节的回归测试是“人改提示词，机器验证”。这节往前再走一步：让机器把“改”这一步也包了。这是扩展阅读——不要求你现在就落地，但要知道这个闭环存在。
概念前沿7 分钟
闭环长什么样：四环咬合
把前面几节的零件拼起来——黄金测试集（4-5）、三层质检（4-4）、数据看板（4-6）——再加一个“优化器”，就咬合成一个自转的电飞轮：
自我进化闭环 · 点“转一圈”，看提示词怎么自己变好
📝 跑测试集 当前提示词 × 50 道真金题→ 📊 评出成绩 通过率 + 错题清单→ 🔧 AI 改提示词 分析错题 → 生成改进版→ ⚖️ 对比裁决 新版 vs 旧版，好才换▶ 转一圈
闭环待机中。注意第三环：改提示词的不是人，是另一个 AI。
当前版本 v1.0 · 通过率 82%
关键在第四环“对比裁决”：AI 改出来的新提示词，必须在测试集上打败旧版才能上岗——这跟 4-5 节“通过率低于线上版就驳回”是同一条铁律，只是执行者从人变成了程序。人可以偷懒，程序不会放水。
为什么要标“扩展阅读”：三个前提不齐别碰
- 前提一：测试集够硬——50 道题如果本身就水了，AI 会学会“应付考试”而不是“做好客服”。垃圾进，垃圾出，自动闭环只会更快地生产垃圾。
- 前提二：评分标准够稳——“答得好不好”如果每次都靠感觉，优化方向就是布朗运动。得分点必须先写死。
- 前提三：高危场景留人审——售后承诺、价格话术、广告法红线，自动改出来的版本必须人工过一道（5-5 节的四条底线永远有效）。
所以现实的节奏是：日常小优化让闭环自动跑，每 3-5 代人工抽查一次，大改版永远人来拍板。AI 优化 AI，人管住“值不值得上线”这道闸门——这跟 3-11 节“哪些按钮不能让 AI 碰”是一脉相承的。
这个闭环真正的价值，不是省掉你改提示词的时间，而是让“持续变好”从口号变成机制：人在睡觉，电飞轮在转，每天早上你看到的不是“又过了一夜”，而是“通过率又涨了 0.5 个点”。
📌 本节要点
- 四环闭环：跑测试集 → 评成绩 → AI 改提示词 → 对比裁决，好才换。
- 裁决是灵魂：新版必须在黄金测试集上打败旧版才能上岗。
- 三个前提：测试集够硬、评分标准够稳、高危场景留人审——不齐别碰。
- 现实节奏：日常自动跑、定期人抽查、大改人拍板。