engenheiro de dados pleno - conexão global de dados

Sobre a vaga

Buscamos um(a) Engenheiro(a) de Dados para integrar o time de Conexão Global de Dados. Você será responsável por projetar, construir e manter pipelines de dados escaláveis, garantindo a disponibilidade e qualidade das informações para análises e tomada de decisão.

Responsabilidades

• Desenvolver e otimizar pipelines de ETL/ELT utilizando Spark, Hive e Python.
• Gerenciar e monitorar clusters Hadoop (HDFS, Yarn, Oozie).
• Integrar dados de fontes diversas (bancos relacionais, NoSQL, APIs) usando Kafka, Flume e Sqoop.
• Modelar dados em bancos como PostgreSQL, Cassandra e MongoDB.
• Implementar soluções de armazenamento em nuvem (AWS, Azure ou GCP) com Terraform ou CloudFormation.
• Colaborar com times de análise e ciência de dados para garantir a disponibilidade dos dados.

Requisitos

• Experiência com ecossistema Hadoop (HDFS, Hive, Spark, Yarn).
• Conhecimento em linguagens de programação: Python e/ou Java.
• Familiaridade com bancos de dados relacionais (PostgreSQL, SQL Server) e NoSQL (Cassandra, MongoDB).
• Experiência com ferramentas de streaming e ingestão (Kafka, Flume, Sqoop).
• Conhecimento em infraestrutura como código (Terraform ou CloudFormation).
• Versionamento de código com Git.

Diferenciais

• Experiência com ferramentas de machine learning (TensorFlow, H2O, Caffe).
• Conhecimento em Elasticsearch, Solr ou Lucene.
• Familiaridade com modelagem de dados usando UML ou ferramentas como ASTAH e EA.
• Experiência com Scala, R ou Ruby.

Benefícios

• Remuneração compatível com o mercado.
• Plano de saúde e odontológico.
• Vale-refeição ou alimentação.
• Participação nos lucros.
• Programa de desenvolvimento profissional.