engenheiro de dados sênior - databricks

Sobre a vaga

Buscamos uma pessoa engenheira de dados sênior para integrar o time de dados da empresa. Você será responsável por projetar, construir e manter pipelines de dados escaláveis e robustos, utilizando Databricks como plataforma principal.

Responsabilidades

• Desenvolver e otimizar pipelines de dados com Databricks, Apache Spark e PySpark
• Implementar soluções de ingestão, transformação e armazenamento de dados em larga escala
• Trabalhar com Delta Lake para garantir qualidade e confiabilidade dos dados
• Utilizar Spark Structured Streaming para processamento em tempo real
• Gerenciar ambientes no Unity Catalog e orquestrar workflows com Databricks Workflows
• Colaborar com times de engenharia e analytics para definir requisitos de dados
• Garantir boas práticas de CI/CD, versionamento (Git) e monitoramento (Datadog)

Requisitos

• Experiência sólida com Databricks, Apache Spark e PySpark
• Conhecimento avançado em Python e SQL
• Experiência com Delta Lake e Spark Structured Streaming
• Familiaridade com REST APIs e integrações
• Vivência em ambientes de nuvem (Azure, AWS ou GCP)
• Conhecimento em Terraform para infraestrutura como código
• Experiência com mensageria (Kafka, Event Hubs)
• Inglês técnico para leitura e documentação

Diferenciais

• Experiência com Airflow para orquestração
• Conhecimento em Scala
• Certificações Databricks

Benefícios

• Plano de saúde e odontológico
• Vale-refeição ou alimentação
• Seguro de vida
• Participação nos lucros
• Gympass
• Programa de desenvolvimento profissional