principal em engenharia de dados - databricks

Sobre a vaga

Procuramos um Principal Engineer em Engenharia de Dados para liderar estratégias de dados em larga escala, arquiteturas de lakehouse e pipelines modernos. Você trabalhará com tecnologias de ponta e terá impacto direto nas decisões técnicas da organização.

Responsabilidades

• Arquitetar e implementar soluções de lakehouse usando Databricks e Delta Lake
• Otimizar pipelines de dados com Apache Spark e PySpark
• Desenhar infraestruturas de dados na Azure (ADLS Gen2, AKS, Azure SQL)
• Orquestrar fluxos de trabalho com Apache Airflow e Databricks Workflows
• Trabalhar com bases de dados relacionais (SQL Server, Oracle, Azure SQL) e T-SQL
• Mentorizar equipes técnicas e guiar práticas de engenharia de dados

Requisitos

• Experiência sólida com Databricks, Apache Spark e Delta Lake
• Conhecimento profundo em arquitetura cloud (Microsoft Azure, ADLS Gen2, AKS)
• Domínio de SQL (T-SQL, SQL Server, Oracle) e ferramentas de orquestração (Airflow, Databricks Workflows)
• Experiência com PySpark, Sqoop e Hadoop
• Capacidade de liderar iniciativas técnicas e tomar decisões de arquitetura