engenheiro de dados sênior - pyspark e aws

Sobre a vaga

Buscamos um Engenheiro de Dados Sênior para liderar a arquitetura, desenvolvimento e otimização de pipelines de dados em larga escala usando PySpark e serviços AWS.

Responsabilidades

• Projetar e implementar arquiteturas robustas de processamento de dados usando PySpark e AWS
• Desenvolver e manter pipelines de dados escaláveis com AWS Glue, Amazon EMR e AWS Lambda
• Otimizar consultas SQL e performance de data warehouses em Amazon Redshift
• Orquestrar workflows de dados com Apache Airflow
• Colaborar com times de dados e engenharia para garantir qualidade e escalabilidade
• Realizar code reviews e mentorar engenheiros júniores

Requisitos

• Experiência sênior em engenharia de dados e arquitetura de dados em nuvem
• Proficiência em PySpark e Python
• Conhecimento aprofundado de serviços AWS: S3, Glue, EMR, Lambda, Redshift
• Expertise em SQL e otimização de queries
• Experiência com orquestração de workflows (Airflow)
• Versionamento com Git
• Pensamento estratégico sobre escalabilidade e performance

Diferenciais

• Experiência com streaming de dados (Kafka, Kinesis)
• Conhecimento de machine learning pipelines
• Familiaridade com infraestrutura como código (Terraform, CloudFormation)