平台三个层面
平台建设的几个关键点
- 列式存储 + 合理分区，Athena 按扫描量计费，这两项直接决定查询成本
- Bronze / Silver / Gold 分层，原始层长期保留，加工出错能重跑
- 指标口径统一并落成文档，避免各部门报表对不上
- 质量规则挂在加工流水线里，不通过就阻断下游
- Iceberg 表格式提供 ACID 与时间旅行，解决数据湖的老问题
平台建设路径
-
01
需求收敛与指标定义
从业务最关心的 10-20 个指标出发，反推需要哪些数据源和加工逻辑。不要一开始就想建全域数据湖。
交付物：指标字典、数据源清单、口径确认单
2-3 周
-
02
基础架构搭建
S3 分层存储、Glue Catalog、Lake Formation 权限、IaC 化部署。
交付物：数据湖底座、IaC 代码、权限模型
3-4 周
-
03
数据接入与加工
CDC 接入业务库，埋点接入行为数据，建 Bronze → Silver → Gold 加工链路。
交付物：接入管道、ETL 作业、调度配置
6-12 周
-
04
分析层与看板
建数据集市，输出 QuickSight 看板，开放 Athena 查询给分析师。
交付物：数据集市、业务看板、查询规范
4-6 周
-
05
治理与运营
配置质量规则、成本归属、血缘采集，建立数据运营例会机制。
交付物：治理规则、质量看板、运营手册
持续