S3 深度主题
五类典型用法
数据湖底座
Parquet / ORC 列式存储 + Glue Catalog + Athena 查询,构成 Lakehouse 的存储层。
备份与归档
配合 AWS Backup 统一策略,跨区域跨账号复制,满足等保与行业合规的留存要求。
静态资源分发
S3 + CloudFront + OAC,全球加速,成本远低于源站直出。
日志中心
所有服务日志汇聚到 S3,Athena 直查,比全量入 ES 便宜十倍以上。
大规模数据迁移
DataSync 增量同步、Snowball 离线搬迁、Transfer Family 兼容 SFTP 存量流程。
AI 训练数据集
S3 Express One Zone 提供单毫秒延迟,配合 SageMaker 或自建训练集群使用。
性能优化要点
S3 的读写性能按前缀分片。单前缀能支撑每秒 3500 次写入和 5500 次读取,更高吞吐需要把对象分散到多个前缀。很多团队把所有文件放在同一层目录下,结果在高并发时撞上限流。
大文件用分段上传(Multipart Upload),并行度设 8-16 通常能吃满带宽。大量小文件的场景,先考虑合并成大文件,既提升吞吐也降低请求费用——请求次数在小文件场景下往往比存储费还高。