engenheiro de dados pleno

Sobre a vaga

Estamos buscando um(a) Engenheiro(a) de Dados Pleno para se juntar ao nosso time remoto. Você vai trabalhar com pipelines de dados modernos, utilizando Python, SQL e o ecossistema AWS (Lambda, Glue, Athena, S3, Step Functions, DynamoDB, Kinesis Firehose). Além disso, terá contato com tecnologias de data lake como Apache Iceberg, Delta Lake e Apache Hudi, e também com modelos de linguagem (LLMs) e APIs de IA generativa.

Responsabilidades

• Projetar e implementar pipelines de dados escaláveis e confiáveis
• Gerenciar e otimizar data lakes utilizando formatos como Parquet e tecnologias como Iceberg, Delta Lake e Hudi
• Desenvolver e manter jobs de ETL/ELT com AWS Glue e Lambda
• Integrar dados com APIs de IA generativa e modelos de linguagem
• Colaborar com times de dados e ML para garantir qualidade e disponibilidade dos dados
• Utilizar Terraform e Docker para infraestrutura como código e conteinerização

Requisitos

• Experiência comprovada como Engenheiro de Dados (nível pleno)
• Conhecimento sólido em Python e SQL
• Experiência com serviços AWS: S3, Lambda, Glue, Athena, Step Functions, DynamoDB, Kinesis Firehose
• Familiaridade com formatos de dados como Parquet e tecnologias de data lake (Iceberg, Delta Lake, Hudi)
• Conhecimento em Git, Terraform e Docker
• Interesse ou experiência com LLMs e APIs de IA generativa
• Capacidade de trabalhar de forma autônoma em ambiente remoto

Diferenciais

• Experiência com NLP e bibliotecas de processamento de linguagem natural
• Conhecimento em Apache Spark ou Flink
• Contribuições para projetos open source

Benefícios

• Remoto total (Brasil)
• Vale alimentação/refeição
• Plano de saúde e odontológico
• Participação nos lucros
• Horário flexível