企业软件 SaaS

多租户 RAG 助手，准确率 92% 且租户数据严格隔离

SaaS 场景的难点是多租户隔离：几千家企业客户的制度文档必须互不可见，同时还要保证检索质量。我们用租户级索引隔离 + 混合检索解决。

92%

答案准确率

300 题评测集

1.4s

首字延迟 P95

44%

推理成本下降

模型分层 + 提示词缓存

61%

人工客服工单下降

需求与约束

客户的 HR SaaS 产品里，每家企业都会上传自己的员工手册、考勤制度、报销规则。员工经常为「年假怎么算」「差旅住宿标准多少」这类问题咨询 HR，而答案其实都写在制度文档里。

产品侧想做一个内嵌的问答助手。核心约束有三个：一是不同企业的文档绝对不能串（一次泄露就是重大事故）；二是答案必须带出处，员工能点开看原文，否则 HR 不敢用；三是成本要能覆盖，按每租户每月的定价倒推，单次问答成本有上限。

接入

SaaS 前端嵌入 API Gateway 租户 JWT 鉴权会话管理

编排

租户上下文注入查询改写混合召回 Rerank 答案生成

检索

OpenSearch（租户过滤） BM25 通道向量通道 RRF 融合

模型

Haiku（意图分类） Sonnet（答案生成） Titan（向量化） Guardrails

数据

S3 租户前缀隔离解析切分管道增量索引版本管理

运营

按租户 token 计量反馈收集评测集回归审计日志

租户隔离做在三层：S3 前缀 + IAM 策略、OpenSearch 索引级过滤、以及应用层的强制 tenant_id 校验。任一层失效还有另两层兜住。

按定价倒推，单次问答的模型成本有明确上限。直接全部用 Sonnet 会超。我们的做法是分层：先用 Haiku 做意图分类和查询改写（便宜且够用），只有最终答案生成才用 Sonnet。

另一个大头是系统提示词与检索上下文。这部分内容在同一租户内高度重复，开启提示词缓存后命中率超过 70%，缓存部分的成本大幅下降。再配合严格控制注入的文档块数量（Top 5 而不是 Top 20），整体成本降了 44%。

每一步都在同一个 300 题评测集上测量。没有评测集的话，这些优化根本无法验证是否有效。

上线前的隔离验证

我们做了专项的隔离测试：构造 200 组跨租户查询，验证任何租户的查询都不可能召回其他租户的文档。同时做了越权尝试测试（伪造 tenant_id、篡改 JWT）。这类测试必须在上线前做完，出事之后再补就晚了。

他们坚持要先做评测集再动手，当时我们觉得是浪费两周。后来每次优化都能看到准确率数字变化，才明白没有这个东西根本不知道自己在往哪个方向走。

客户产品负责人HR SaaS 产品线

下一步

留下需求，沐杉云的解决方案架构师会在一个工作日内联系你，提供免费的现状评估、迁移方案草案与 TCO 测算表。