Operations / 风控兜底

客服机器人上线前要做哪些风控与兜底:敏感词、人工接管、越权拦截

很多团队做 AI 客服,前期只盯着回复效果,真正上线后才发现风险点根本不在“能不能回答”,而在“会不会乱回答”。客服机器人一旦直面真实用户,就会遇到敏感投诉、退款争议、规则边界、误承诺、越权检索、情绪升级、错误报价等问题。上线前如果没有风控与兜底,机器人不是帮你省人,而是帮你制造售后和合规压力。

先说结论

AI 客服上线前,至少要把 敏感词识别、回复边界、人工接管、越权拦截、知识来源控制、日志审计、异常告警 这几层做起来。真正稳的机器人,不是“什么都答”,而是知道什么能答、什么不能答、什么时候必须交给人。

一、为什么 AI 客服最怕“看起来很聪明”?

因为一旦它说错,用户不会认为“模型出错了”,只会认为“你的平台在乱承诺”。尤其涉及价格、退款、售后、违约、隐私、投诉这些场景,哪怕只错一次,后果也可能比普通 FAQ 错十次更严重。

  • 把不能承诺的事情答成“可以”
  • 把历史政策答成当前规则
  • 把内部口径直接暴露给用户
  • 在情绪升级场景继续机械回复

二、第一层:敏感词和高风险意图识别

不要等机器人生成完再看结果,很多风险应该在用户输入阶段就识别出来。

  • 投诉、退款、维权、起诉、曝光
  • 涉黄、涉政、辱骂、恶意挑衅
  • 账号封禁、支付纠纷、数据删除
  • 超出业务范围的医疗、法律、财务建议

三、第二层:回答边界必须写死

很多团队给了知识库,却没定义边界。正确做法是让机器人明确知道哪些可以回答、哪些只能引导、哪些必须转人工。

  • 只回答已收录且已审核的知识
  • 不擅自承诺退款、赔付、时效
  • 无法确认时优先拒答或升级
  • 敏感事项统一使用标准口径

四、人工接管为什么不是“备用功能”,而是主流程的一部分?

AI 客服不是为了替代所有人工,而是先处理低风险、高重复、规则明确的问题,把高风险和高情绪问题及时交给人工。没有人工接管的机器人,本质上是把所有异常都硬扛在模型身上。

  1. 连续两次未命中答案,自动转人工
  2. 命中退款/投诉/赔付关键词,直接升级
  3. 用户明确要求人工时立即切换
  4. 识别情绪恶化时触发优先人工介入

五、越权拦截要做在知识检索前面

如果机器人能接知识库,就不能默认所有知识都可见。越权问题常常不是“回答错了”,而是“把不该给这个用户看的内容检索出来了”。权限应该前置到数据源、标签、部门、客户身份和召回范围上。

  • 不同用户组只查各自可见知识
  • 客户私有数据与公共知识分开管理
  • 后台运营话术与前台用户问答隔离
  • 召回阶段先过权限,再交给模型生成

六、标准回复模板能显著降低事故率

  • 对退款/投诉类场景统一口径
  • 对不确定问题优先解释限制条件
  • 对政策类问题附“以最新公告为准”
  • 对人工转接明确下一步动作

七、日志审计和复盘机制必须有

  • 记录用户问题、召回片段、最终回复
  • 标记是否命中敏感场景
  • 记录是否转人工、由谁接管
  • 沉淀高风险失败案例做二次训练

八、适合上线前做的一份最小检查清单

  1. 敏感词与高风险意图规则已配置
  2. 退款、投诉、赔付等口径已审核
  3. 知识库权限已按用户/客户/部门隔离
  4. 人工接管路径可用,且有人值守
  5. 所有关键日志可回溯
  6. 高风险问题已做灰度演练

九、什么时候说明你不能再“先上线再说”?

  • 机器人已经直面真实客户
  • 回答涉及订单、支付、退款或售后
  • 知识库里有内部规则或敏感信息
  • 业务已经要求机器人承担转化职责
  • 团队还说不清“什么情况必须转人工”