engenheiro de dados sênior - databricks e spark

Sobre a vaga

Estamos em busca de um Engenheiro de Dados Sênior para integrar o time de dados da empresa. Você será responsável por projetar, construir e manter pipelines de dados escaláveis usando Databricks e Apache Spark, além de garantir a qualidade e governança dos dados com Unity Catalog e Delta Lake.

Responsabilidades

• Desenvolver e otimizar pipelines de dados utilizando Databricks, Spark e PySpark
• Gerenciar e versionar dados em Delta Lake e Apache Iceberg
• Implementar soluções de integração e orquestração com Databricks Workflows e Jobs
• Trabalhar com armazenamento e processamento em AWS (S3, Glue, Lake Formation) e Google Cloud Platform
• Garantir a qualidade dos dados e boas práticas de CI/CD e versionamento com Git
• Colaborar com equipes de produto e engenharia para entender requisitos de dados

Requisitos

• Experiência sólida com Databricks e Apache Spark (PySpark e Scala)
• Conhecimento em Delta Lake, Apache Iceberg e Unity Catalog
• Familiaridade com SQL avançado e modelagem de dados
• Experiência com AWS (S3, Glue, Lake Formation) e/ou GCP
• Domínio de Git e práticas de CI/CD
• Inglês técnico para leitura e documentação

Diferenciais

• Experiência com streaming de dados (Kafka, Kinesis)
• Conhecimento em infraestrutura como código (Terraform, CloudFormation)
• Familiaridade com containers e orquestração (Docker, Kubernetes)

Benefícios

• Plano de saúde e odontológico
• Vale-refeição ou alimentação
• Horário flexível e modelo híbrido
• Incentivo à certificações e cursos