sênior em engenharia de dados

Sobre a vaga

A SecurityScorecard busca um Engenheiro de Dados Sênior para arquitetar e otimizar pipelines de dados de grande escala. Você trabalhará com tecnologias modernas de processamento e armazenamento, impactando diretamente a plataforma global de segurança cibernética da empresa.

Responsabilidades

• Projetar e implementar pipelines de dados robustos com Apache Spark e Airflow
• Otimizar consultas e performance em bancos de dados analíticos (PostgreSQL, ClickHouse, ScyllaDB)
• Gerenciar fluxos de dados em tempo real com Kafka e Kafka Connect
• Infraestrutura como código (Terraform) e automação (Jenkins, Docker)
• Mentorear engenheiros juniores e revisar código
• Colaborar com times de análise e produto para soluções de dados

Requisitos

• 5+ anos de experiência em engenharia de dados ou role similar
• Proficiência em Scala e/ou Python
• Experiência sólida com Apache Spark e Airflow
• Conhecimento de sistemas de armazenamento (PostgreSQL, ClickHouse ou similar)
• Familiaridade com Kafka e processamento de eventos
• Experiência com AWS e ferramentas de infrastructure-as-code
• Versionamento com Git

Diferenciais

• Experiência com ScyllaDB ou bancos NoSQL distribuídos
• Conhecimento de hive e data warehousing em larga escala
• Contribuições em projetos open source de dados