落地过的场景
客服辅助
客服提问自动检索产品手册与历史工单,给出参考答复和依据链接,新人上手周期明显缩短。
HR 制度问答
假期政策、报销标准、入离职流程,员工自助查询,HR 重复咨询量大幅下降。
运维知识库
告警处置手册、历史故障记录、变更流程,值班人员遇到问题先问它。
销售支持
产品参数、竞品对比、报价规则、成功案例,销售现场随时查。
合规咨询
内控制度、审计要求、法规条文,回答必须带条款出处,方便复核。
新人培训
结合培训材料与常见问题,做成可对话的入职助手。
验收标准示例
| 指标 | 目标值 | 测量方式 |
|---|---|---|
| 答案准确率 | ≥ 88% | 在 200 题评测集上人工评分 |
| 引用正确率 | ≥ 95% | 抽检引用的文档段落是否真的支撑答案 |
| 拒答准确率 | ≥ 90% | 超出知识范围的问题应明确拒答而非编造 |
| 首字响应 | ≤ 2.5 秒 | P95 延迟 |
| 权限隔离 | 100% | 不同权限用户不应检索到无权文档 |
| 月度活跃使用率 | ≥ 60% 目标用户 | 上线三个月后统计 |
验收指标必须在项目启动时就定下来,并配套评测集。否则上线后「好不好用」全靠主观感受,容易扯皮。
权限隔离是硬要求
知识库里往往混着不同密级的文档。如果检索时不按用户权限过滤,普通员工问一句就可能拿到高管薪酬或未公开的战略文件。我们的做法是在向量库里给每个块打权限标签,检索时强制过滤,而不是靠提示词约束。