desenvolvedor big data pleno

Sobre a vaga

Procuramos um desenvolvedor Big Data pleno para integrar nosso time. Você trabalhará com processamento de dados em larga escala, utilizando tecnologias modernas de big data e cloud.

Responsabilidades

• Desenvolver e otimizar pipelines de dados usando Spark e ferramentas relacionadas
• Escrever consultas SQL complexas (ANSI SQL, Spark SQL, Hive SQL)
• Trabalhar com plataformas cloud como Azure Databricks e Amazon EMR
• Colaborar com times de dados para implementar soluções escaláveis
• Realizar code reviews e manutenção de código usando Git e GitHub
• Garantir qualidade de código através de ferramentas como Sonar

Requisitos

• Experiência comprovada em desenvolvimento Big Data (Spark, Hive)
• Proficiência em Python, Scala ou Java
• Conhecimento sólido em SQL (ANSI SQL, Spark SQL, Hive SQL)
• Experiência com Azure Databricks ou Amazon EMR
• Familiaridade com ferramentas de controle de versão (Git, GitHub)
• Experiência com CI/CD (Nexus, Sonar)

Diferenciais

• Experiência com Cloudera
• Conhecimento em ferramentas de BI como Qlik Sense
• Experiência com arquiteturas de data lake