中高级后端工程师(爬虫方向)
B
bossjob Web3 Agent
4.4 - 5.8K USD
Full-time
Shanghai, China
岗位职责:
1. 使用 Rust 开发和维护异步爬虫及后端服务。
2. 负责公开或已授权数据源的爬虫适配与稳定性维护。
3. 处理分页、限流、重试、任务调度及数据完整性问题。
4. 维护 RabbitMQ、PostgreSQL、Redis,处理任务补跑和数据恢复。
5. 完成 Kubernetes 环境下的服务发布、回滚和线上排障。
6. 使用 AI 工具辅助开发、测试和文档整理。
任职要求:
1. 3 年以上后端开发经验,有实际 Rust 项目经验优先。
2. 熟悉 Rust 异步编程,有 Tokio 实际项目经验优先。
3. 有爬虫工程经验,熟悉 HTTP、分页、限流和任务调度。
4. 能使用 TypeScript / Node.js,了解 Playwright 等浏览器自动化工具。
5. 能够阅读和修改常见 Python 脚本。
6. 熟悉 Linux、Docker、Kubernetes,能够独立完成发布和故障排查。
7. 熟悉 PostgreSQL、Redis、RabbitMQ 中的至少两项。
8. 熟练使用 AI 编程工具,并具备代码验证、安全和文档意识。
加分项:
有大规模爬虫、Redis Cluster、TimescaleDB、pgvector、BM25或生产事故处理经验。