sênior em desenvolvimento backend - web scraping e extração de dados

Sobre a vaga

Buscamos uma pessoa desenvolvedora sênior para atuar com web scraping e extração de dados em larga escala. Você será responsável por construir e manter pipelines robustos que coletam informações de milhares de fontes web, garantindo qualidade e performance.

Responsabilidades

• Projetar e implementar sistemas de scraping escaláveis, lidando com sites complexos e dinâmicos
• Desenvolver estratégias para contornar bloqueios (CAPTCHAs, rate limiting, fingerprinting)
• Gerenciar proxies, rotação de IPs e sessões
• Processar e estruturar grandes volumes de dados extraídos
• Monitorar e otimizar a performance dos crawlers
• Colaborar com o time de engenharia de dados para integrar os dados coletados

Requisitos

• Experiência comprovada com Python e bibliotecas de scraping (Scrapy, BeautifulSoup, Selenium, Playwright ou similares)
• Conhecimento avançado em manipulação de requisições HTTP (Requests, HTTPX, aiohttp)
• Familiaridade com bancos de dados relacionais e NoSQL (PostgreSQL, MongoDB)
• Experiência com ferramentas de orquestração (Airflow, Prefect)
• Domínio de Git, CI/CD e Docker
• Conhecimento em cloud computing (AWS, Azure ou GCP)
• Capacidade de trabalhar de forma autônoma e resolver problemas complexos

Diferenciais

• Experiência com processamento de dados em streaming (Kafka, Spark)
• Conhecimento em data warehouses (Snowflake, BigQuery, Redshift)
• Familiaridade com Kubernetes
• Contribuições para projetos open source na área

Benefícios

• Remuneração competitiva em dólar
• Trabalho 100% remoto
• Horário flexível
• Ambiente internacional e colaborativo