Web3数据平台开发工程师（Java）

base深圳，居家办公

工作职责：

• 基于海量web3数据挖掘数据价值，建立用户画像、链画像数据体系，持续优化数据模型。
• 熟悉链上数据对接解析流程，中心化存储优化。
• 实时与离线数据检验，把控数据质量。
• 链上数据平台建设（Java为主），架构、方案设计。
• 优化超大数据量的存储和查询链路。对现有的数据架构，能够给出系统性的重构方案。

任职要求：

• 熟悉通用的大数据存储引擎和消息中间件，包括但不限于ES、ClickHouse、Hbase、Kafka、Redis等
• 熟悉通用的分布式系统，包括Hadoop、HDFS、Spark等，可以使用分布式引擎编写高效的数据清洗任务
• 熟悉实时处理引擎Flink，对于大型Flink任务，可以从执行计划、资源配置、参数调整及底层源码等多个角度进行优化
• 数据治理场景，可以通过多种手段发现治理已经存在的数据问题。
• 数据质量管理，有系统的管理方案,并参与数据质量管理平台DQC的开发
• 熟练掌握Java技术栈，spring cloud、mybatis等开源框架。
• 熟悉Jvm优化理论，对现有数据平台进行优化诊断

加分项：

• 用户画像系统经验
• 高质量数据挖掘经验（基于策略算法、机器学习等）