sênior em engenharia de dados

Sobre a vaga

A SecurityScorecard busca um Engenheiro de Dados Sênior para se juntar ao time remoto. Você trabalhará com arquitetura de dados em larga escala, pipelines de processamento e infraestrutura cloud.

Responsabilidades

• Desenhar e implementar pipelines de dados robustos usando Spark e Airflow
• Otimizar consultas e performance em bancos de dados distribuídos (PostgreSQL, ClickHouse, ScyllaDB)
• Gerenciar fluxos de dados em tempo real com Kafka e Kafka Connect
• Manter infraestrutura de dados em AWS, Docker e Jenkins
• Colaborar com times de analytics e engenharia para definir arquitetura de dados

Requisitos

• Experiência sênior em Engenharia de Dados (5+ anos)
• Proficiência em Scala ou Python para processamento de dados
• Experiência com Apache Spark em produção
• Conhecimento sólido em bancos de dados (PostgreSQL, ClickHouse ou equivalente)
• Experiência com orquestração de workflows (Airflow)
• Familiaridade com Kafka, Docker e AWS
• Versionamento com Git

Diferenciais

• Experiência com ScyllaDB ou Redis
• Conhecimento em Infrastructure as Code (Terraform)
• Experiência em cybersegurança ou análise de riscos