engenheiro de dados sênior

Sobre a vaga

Buscamos um(a) Engenheiro(a) de Dados Sênior para projetar, construir e manter pipelines de dados escaláveis e confiáveis. Você atuará em um time de dados, colaborando com analistas e cientistas para garantir que os dados estejam disponíveis, íntegros e prontos para consumo.

Responsabilidades

• Projetar e implementar pipelines de dados batch e streaming usando Hadoop, Spark e Kafka.
• Gerenciar clusters Hadoop (HDFS, YARN, Hive) e orquestrar workflows com Airflow, Oozie ou Luigi.
• Desenvolver processos de ETL/ELT com Pentaho e scripts em Python ou Java.
• Modelar dados em bancos SQL e NoSQL, garantindo performance e escalabilidade.
• Implantar e gerenciar infraestrutura em AWS (S3, EMR, Redshift, etc.) e Kubernetes.
• Monitorar e otimizar pipelines, resolvendo gargalos e garantindo SLAs.

Requisitos

• Experiência sólida com Hadoop (HDFS, YARN, Hive) e Spark.
• Domínio de Kafka para streaming de dados.
• Conhecimento em orquestração: Airflow, Oozie ou Luigi.
• Forte habilidade em Python e/ou Java.
• Experiência com bancos SQL (PostgreSQL, MySQL) e NoSQL (MongoDB, Cassandra).
• Familiaridade com AWS (S3, EMR, Lambda, Redshift) e Kubernetes.
• Conhecimento em Linux e boas práticas de DevOps.

Diferenciais

• Experiência com Pentaho ou outras ferramentas de ETL.
• Conhecimento em modelagem dimensional e data lakes.
• Certificações AWS ou Kubernetes.

Benefícios

• Remuneração compatível com o mercado.
• Trabalho remoto de qualquer lugar do Brasil.
• Plano de saúde e odontológico.
• Vale-alimentação ou refeição.
• Incentivo à educação e certificações.
• Horário flexível.