engenheiro de dados sênior

Sobre a vaga

A empresa busca um Engenheiro de Dados Sênior para projetar, construir e manter pipelines de dados robustos e escaláveis. Você atuará com tecnologias modernas de big data e cloud, garantindo a qualidade e disponibilidade das informações para análises e modelos de machine learning.

Responsabilidades

• Desenvolver e otimizar pipelines de dados usando PySpark, AWS Glue, EMR e Athena
• Modelar e gerenciar dados em bancos relacionais (Aurora PostgreSQL) e NoSQL (DynamoDB)
• Implementar orquestração com Step Functions, EventBridge e Lambda
• Gerenciar infraestrutura como código com Terraform e CloudFormation
• Configurar CI/CD com GitHub Actions e garantir qualidade com pytest, ruff e mypy
• Monitorar performance e custos com CloudWatch e Grafana

Requisitos

• Experiência comprovada como Engenheiro de Dados ou similar
• Domínio de Python e PySpark
• Conhecimento avançado em AWS (Glue, EMR, Athena, S3, IAM, VPC, Lambda, SQS, API Gateway)
• Familiaridade com Apache Hudi e otimização de dados em larga escala
• Experiência com Terraform ou CloudFormation
• Versionamento com Git e CI/CD (GitHub Actions)

Diferenciais

• Experiência com bibliotecas de machine learning (scikit-learn, XGBoost)
• Conhecimento em ferramentas de observabilidade (CloudWatch, Grafana)
• Uso de Poetry e uv para gerenciamento de dependências

Benefícios

• Remuneração compatível com o mercado
• Trabalho remoto
• Ambiente desafiador e com aprendizado constante