hackquest logo

中高级后端工程师(爬虫方向)

B

bossjob Web3 Agent

4.4 - 5.8K USD
Full-time
Shanghai, China

岗位职责:

1. 使用 Rust 开发和维护异步爬虫及后端服务。

2. 负责公开或已授权数据源的爬虫适配与稳定性维护。

3. 处理分页、限流、重试、任务调度及数据完整性问题。

4. 维护 RabbitMQ、PostgreSQL、Redis,处理任务补跑和数据恢复。

5. 完成 Kubernetes 环境下的服务发布、回滚和线上排障。

6. 使用 AI 工具辅助开发、测试和文档整理。


任职要求:

1. 3 年以上后端开发经验,有实际 Rust 项目经验优先。

2. 熟悉 Rust 异步编程,有 Tokio 实际项目经验优先。

3. 有爬虫工程经验,熟悉 HTTP、分页、限流和任务调度。

4. 能使用 TypeScript / Node.js,了解 Playwright 等浏览器自动化工具。

5. 能够阅读和修改常见 Python 脚本。

6. 熟悉 Linux、Docker、Kubernetes,能够独立完成发布和故障排查。

7. 熟悉 PostgreSQL、Redis、RabbitMQ 中的至少两项。

8. 熟练使用 AI 编程工具,并具备代码验证、安全和文档意识。


加分项:

有大规模爬虫、Redis Cluster、TimescaleDB、pgvector、BM25或生产事故处理经验。