迭代与管理提示词

2,673 字 · 预计阅读 8 分钟

写出第一版提示词很容易,难的是让它在一千种真实输入下都表现稳定,并且在你改动之后不悄悄变差。

这一课讲怎么把提示词当成代码来对待:诊断问题、一次改一处、做版本管理、用数据比较,以及怎么让 AI 帮你改提示词。


一、输出不好,先找原因

拿到一个糟糕的回答,多数人第一反应是怪模型。十次里有九次,问题在提示词。

几乎所有提示词问题都可以归到三类原因:

  • 信息缺失:模型不知道它该知道的东西,只能猜
  • 信号冲突:指令之间互相矛盾,模型随便挑一条
  • 输出没约束:内容对了,形状不对

先判断属于哪一类,修起来就快了。

小黑检查信息缺失、信号冲突和输出约束


十个常见错误

错误 症状 修法
要求含糊 回答泛泛而谈 把形容词换成具体的名词和数字
缺少背景 答案在别的场景下成立,在你这里不成立 先交代你是谁、在做什么、给谁看
没说格式 内容对但形状没法用 在结尾明确写出输出格式
关键指令埋在中间 某条规则被无视 任务写在开头,关键规则在结尾重复
用否定句 越说「不要」越出现 改成「要做什么」
指令互相矛盾 风格忽左忽右 发送前通读,找出冲突并明确取舍
给推理模型加「一步步想」 变慢变啰嗦,没变准 推理模型去掉这类指令
规则都塞在用户消息里 规则时灵时不灵,对话很乱 长期规则移到系统提示词
微妙的任务不给示例 语气或结构总差一点 加一两个输入输出示例
改法随机 改来改去不知道哪次有用 一次只改一处,保留旧版本

前三个占了新手问题的大头,先排查它们。

还有一个常见误区:用全大写、「必须」「绝对」这类强调词来提高服从度。在很多模型上这反而会导致过度拒绝或者输出变得别扭。用平静的陈述句,真正关键的那一条才强调,而且只强调一次。


二、一次只改一处

提示词有一个让人不安的特点:很小的表面改动,比如换个分隔符、调整选项顺序、改个大小写,都可能明显改变输出。

这意味着你没法靠「想」来找到最好的写法,只能靠测。

迭代的基本流程和调 bug 一样:

  1. 准备一组固定的测试输入,包括正常情况和刁钻情况
  2. 跑一遍,看具体错在哪
  3. 判断是缺信息、有冲突,还是没约束
  4. 只改一处,用同一组输入再跑
  5. 有改善就保留,没有就回退

一次改五个地方,结果变好了,你也不知道是哪一处起的作用。下次出问题,你还是一样迷茫。

固定同一组输入,每次只替换一个提示词细节


三、模板化和版本管理


本文是会员内容

全文 2,673 字,已试读约 30%。开通专业版可阅读全文,并解锁全部官方课程与后续更新。

开通专业版

支持 7 天无理由退款 · 早鸟价 99 元/年(售完恢复365/年)

课程中涉及的第三方项目,其著作权与商标归各自权利人所有;引用处的署名与许可见《开源与来源说明》。

上一节:提示词注入与安全已经是最后一节了