远程办公-大数据运维
W
weex
5 - 8K USD
Full-time
Remote
核心职责(海外优先)
1. Doris 存算分离架构运维
- 集群构建: 负责 Doris 存算分离模式(基于后端对象存储如 S3/OSS/HDFS)的部署、配置与高可用保障。
- 组件维护: 深入运维 Metaservice 和 FoundationDB (若涉及) 等关键元数据组件,确保存算分离环境下的元数据一致性。
- 缓存优化: 管理 BE 节点的 计算层 Cache (Local Cache),根据业务访问模式调优热数据缓存策略,平衡查询延迟与成本。
2. 存储与成本管理
- 负责对接与管理 S3、OSS 或 MinIO 等后端存储系统,监控存储水位与 IOPS 瓶颈。
- 制定冷热数据迁移与生命周期管理策略,通过存算分离大幅降低 TCO(总拥有成本)。
3. CDC 实时链路建设
- 维护高性能 CDC (Flink CDC, Canal) 同步链路,实现从业务库到 Doris 的分钟级/秒级实时入库。
- 处理存算分离架构下的高频写入压力,优化数据导入产生的 Segment 碎片问题。
4. 故障排查与调优
- 解决存算分离模式下特有的瓶颈,如网络带宽占用过高、对象存储请求限频(Throttling)、Cache 击穿导致的性能抖动等。
任职要求
核心技术背景
- 学历背景: 本科及以上,计算机相关专业,4 年以上大数据或数据库运维经验。
- Doris 专项: 深入理解 Doris 存算分离原理,熟悉 FE、BE (Compute Node)、Metaservice 的交互逻辑。
- 存储功底: 熟练使用 S3-API 兼容的对象存储,理解对象存储的最终一致性与强一致性差异。
- CDC 实战: 必须有生产环境下的实时同步治理经验,能处理 Schema Evolution (DDL 自动同步)。