hackquest logo

远程办公-大数据运维

W

weex

5 - 8K USD
Full-time
Remote

核心职责(海外优先)

1. Doris 存算分离架构运维

  • 集群构建: 负责 Doris 存算分离模式(基于后端对象存储如 S3/OSS/HDFS)的部署、配置与高可用保障。
  • 组件维护: 深入运维 MetaserviceFoundationDB (若涉及) 等关键元数据组件,确保存算分离环境下的元数据一致性。
  • 缓存优化: 管理 BE 节点的 计算层 Cache (Local Cache),根据业务访问模式调优热数据缓存策略,平衡查询延迟与成本。

2. 存储与成本管理

  • 负责对接与管理 S3、OSS 或 MinIO 等后端存储系统,监控存储水位与 IOPS 瓶颈。
  • 制定冷热数据迁移与生命周期管理策略,通过存算分离大幅降低 TCO(总拥有成本)。

3. CDC 实时链路建设

  • 维护高性能 CDC (Flink CDC, Canal) 同步链路,实现从业务库到 Doris 的分钟级/秒级实时入库。
  • 处理存算分离架构下的高频写入压力,优化数据导入产生的 Segment 碎片问题。

4. 故障排查与调优

  • 解决存算分离模式下特有的瓶颈,如网络带宽占用过高、对象存储请求限频(Throttling)、Cache 击穿导致的性能抖动等。


任职要求

核心技术背景

  • 学历背景: 本科及以上,计算机相关专业,4 年以上大数据或数据库运维经验。
  • Doris 专项: 深入理解 Doris 存算分离原理,熟悉 FE、BE (Compute Node)、Metaservice 的交互逻辑。
  • 存储功底: 熟练使用 S3-API 兼容的对象存储,理解对象存储的最终一致性与强一致性差异。
  • CDC 实战: 必须有生产环境下的实时同步治理经验,能处理 Schema Evolution (DDL 自动同步)。