sênior em desenvolvimento backend spark - engenharia de dados

Sobre a vaga

Buscamos uma pessoa desenvolvedora sênior especializada em backend e processamento de dados em larga escala usando Apache Spark. Você fará parte de uma equipe que constrói e mantém pipelines de dados críticos utilizando tecnologias modernas na nuvem.

Responsabilidades

• Projetar, desenvolver e otimizar pipelines de dados com Apache Spark e Scala/Python
• Trabalhar com Azure Databricks e Apache Hive para processamento distribuído
• Orquestrar jobs com Apache Airflow e Control-M
• Garantir qualidade de código com Git, GitHub, SonarQube e Nexus
• Colaborar com times de dados e engenharia em um ambiente ágil

Requisitos

• Experiência sólida com Apache Spark, Scala e Python
• Conhecimento em SQL e modelagem de dados
• Experiência com Azure Databricks e Apache Hive
• Familiaridade com Git e ferramentas de CI/CD
• Noções de Hadoop e ecossistema de dados distribuídos

Diferenciais

• Experiência com Apache Airflow e automação de orquestração
• Conhecimento em metodologias ágeis e DevOps
• Familiaridade com ferramentas de qualidade de código (SonarQube, Nexus)

Benefícios

• Modelo de trabalho 100% remoto
• Ambiente colaborativo e focado em inovação
• Oportunidade de atuar com tecnologias de ponta em dados