sênior em engenharia de dados

Sobre a vaga

A Experian busca uma pessoa sênior em Engenharia de Dados para atuar em modelo híbrido em São Paulo.

A vaga envolve construção e manutenção de pipelines de dados, usando tecnologias como Apache Spark, PySpark, Python, SQL e AWS.

Responsabilidades

• Desenvolver, manter e otimizar pipelines de dados.
• Trabalhar com processamento distribuído usando Apache Spark, PySpark e Scala.
• Criar e melhorar fluxos de orquestração com ferramentas como Airflow, Prefect ou Dagster.
• Apoiar práticas de CI/CD e infraestrutura como código com Terraform.
• Colaborar com times técnicos e de negócio para entregar dados confiáveis e bem estruturados.

Requisitos

• Experiência sênior em Engenharia de Dados.
• Conhecimento sólido em Python, SQL e processamento de dados em larga escala.
• Experiência com AWS.
• Vivência com Apache Spark, PySpark ou Scala.
• Conhecimento em orquestração de pipelines com Airflow, Prefect ou Dagster.
• Familiaridade com Terraform e práticas de CI/CD.