先说结论
AI 客服上线前,至少要把 敏感词识别、回复边界、人工接管、越权拦截、知识来源控制、日志审计、异常告警 这几层做起来。真正稳的机器人,不是“什么都答”,而是知道什么能答、什么不能答、什么时候必须交给人。
很多团队做 AI 客服,前期只盯着回复效果,真正上线后才发现风险点根本不在“能不能回答”,而在“会不会乱回答”。客服机器人一旦直面真实用户,就会遇到敏感投诉、退款争议、规则边界、误承诺、越权检索、情绪升级、错误报价等问题。上线前如果没有风控与兜底,机器人不是帮你省人,而是帮你制造售后和合规压力。
AI 客服上线前,至少要把 敏感词识别、回复边界、人工接管、越权拦截、知识来源控制、日志审计、异常告警 这几层做起来。真正稳的机器人,不是“什么都答”,而是知道什么能答、什么不能答、什么时候必须交给人。
因为一旦它说错,用户不会认为“模型出错了”,只会认为“你的平台在乱承诺”。尤其涉及价格、退款、售后、违约、隐私、投诉这些场景,哪怕只错一次,后果也可能比普通 FAQ 错十次更严重。
不要等机器人生成完再看结果,很多风险应该在用户输入阶段就识别出来。
很多团队给了知识库,却没定义边界。正确做法是让机器人明确知道哪些可以回答、哪些只能引导、哪些必须转人工。
AI 客服不是为了替代所有人工,而是先处理低风险、高重复、规则明确的问题,把高风险和高情绪问题及时交给人工。没有人工接管的机器人,本质上是把所有异常都硬扛在模型身上。
如果机器人能接知识库,就不能默认所有知识都可见。越权问题常常不是“回答错了”,而是“把不该给这个用户看的内容检索出来了”。权限应该前置到数据源、标签、部门、客户身份和召回范围上。