engenheiro de dados sênior - databricks e spark

Sobre a vaga

Buscamos um(a) engenheiro(a) de dados sênior para se juntar ao time de dados e contribuir com a arquitetura, desenvolvimento e manutenção de pipelines de dados robustos e escaláveis. Você atuará principalmente com Databricks e Spark, em ambiente híbrido, com forte integração com AWS.

Responsabilidades

• Projetar, implementar e otimizar pipelines de dados usando Databricks, Apache Spark e PySpark/Scala.
• Gerenciar e evoluir data lakes com Delta Lake e Apache Iceberg, garantindo qualidade e governança.
• Integrar fontes de dados via REST APIs, JSON e processos de ETL.
• Automatizar deployment e versionamento com Git e CI/CD.
• Trabalhar em estreita colaboração com times de engenharia e análise para entender requisitos e entregar soluções de dados.
• Monitorar desempenho e custos em AWS (S3, Glue, Lake Formation) e eventualmente GCP.
• Utilizar Unity Catalog para gerenciamento de metadados e permissões.

Requisitos

• Experiência sênior em engenharia de dados (5+ anos).
• Domínio de Databricks, Apache Spark e PySpark ou Scala.
• Sólidos conhecimentos em SQL e modelagem de dados.
• Experiência com Delta Lake, Apache Iceberg ou formatos similares.
• Familiaridade com AWS (S3, Glue, Lake Formation) e CI/CD.
• Versionamento com Git e boas práticas de desenvolvimento.

Diferenciais

• Conhecimento em Databricks Workflows e Jobs.
• Experiência com GCP.
• Habilidade com otimização de queries e tuning de Spark.

Benefícios

• Plano de saúde e odontológico.
• Vale-refeição ou alimentação.
• Participação nos lucros.
• Horário flexível e modelo híbrido.