Data Engineer

「数据开发工程师」— 搭建全平台数据管线（实时行情/交易/链上/用户行为），PostgreSQL + TimescaleDB + Kafka，让 AI Agent 有高质量低延迟的数据可消费
作为 数据开发工程师（Senior），你将负责构建覆盖 实时行情、交易、链上数据、用户行为 等多源数据的端到端数据管线与数据服务能力。目标是让下游系统（尤其是 AI Agent）能够稳定、低延迟地获取 高质量、可追溯、可扩展的数据输出。
你将以 PostgreSQL + TimescaleDB 作为核心数据存储与时序管理底座，并以 Kafka 作为实时数据传输与解耦的关键组件，完成数据采集、清洗治理、实时处理、落库建模、以及面向消费端的服务化交付，确保数据在吞吐、延迟与准确性之间取得可落地的平衡。
• 搭建并维护全平台数据管线：从多源数据接入、实时/准实时处理到落库与对外消费，形成端到端闭环；
覆盖实时行情/交易/链上/用户行为等业务数据域。
• 基于Kafka设计与实现消息流：明确主题/分区策略、消费模型与错误处理机制，保障数据传输的稳定性与可恢复性；
推动实时链路端到端延迟控制与吞吐优化。
• 利用PostgreSQL + TimescaleDB进行时序数据建模与管理：制定表结构与索引策略，支持高频写入与高效查询；
沉淀实时指标、事件数据与历史快照，满足下游的低延迟读取与回溯需求。
• 建设数据质量与可追溯能力：在采集、转换、入库阶段落地校验与去重/纠错策略，降低脏数据对 AI Agent 的影响；
输出可观测性数据（如延迟、积压、失败率、数据完整性指标）用于持续优化。
• 与下游消费方协作交付数据可用性：对接 AI Agent 的数据需求，提供清晰的数据口径与一致性保障；
通过迭代优化数据刷新策略与读取路径，实现“高质量、低延迟、易消费“的工程交付。
通过以上工作，你将直接影响 AI Agent 的输入质量与实时决策能力，确保数据管线在生产环境具备稳定运行、可观测与可扩展的工程基础。
投递备注：请注明「招聘渠道来源 + 意向岗位」，可附 GitHub / 作品集。
邮箱: hiring@donutbrowser.ai