sênior em engenharia de dados - cloud e ia

Sobre a vaga

A 3Pillar Global busca uma pessoa sênior para atuar com arquitetura de dados em cloud, com foco também em IA generativa e soluções com LLMs.

A vaga é remota e aceita profissionais na Índia, América do Norte, Europa, América do Sul ou Ásia.

Responsabilidades

• Desenhar arquiteturas de dados escaláveis em cloud.
• Trabalhar com pipelines batch e streaming usando tecnologias como PySpark, Spark Structured Streaming e Kafka.
• Apoiar soluções de lakehouse e analytics com Databricks, Delta Lake, Snowflake e Redshift.
• Integrar serviços AWS como S3, Glue, EKS, Bedrock, Kinesis e CloudWatch.
• Participar da definição de arquitetura para aplicações com IA generativa, LLMs e busca vetorial.
• Colaborar com times de engenharia para boas práticas de infraestrutura, automação, observabilidade e entrega contínua.

Requisitos

• Experiência sênior com arquitetura de dados em ambientes cloud.
• Boa experiência com Python, SQL, PySpark e Apache Spark.
• Vivência com AWS e serviços de dados, streaming e machine learning.
• Conhecimento de Databricks, Delta Lake, Snowflake ou plataformas similares.
• Experiência com Docker, Kubernetes, Terraform e GitHub Actions.
• Conhecimento prático em ferramentas de IA generativa e LLMs, como LangChain, LlamaIndex, OpenAI, AWS Bedrock, Claude ou HuggingFace.
• Familiaridade com bancos vetoriais e busca, como Pinecone, FAISS, ChromaDB, OpenSearch ou Neo4j.

Diferenciais

• Experiência com MLflow, FastAPI, Grafana e observabilidade de pipelines e aplicações de dados.
• Vivência combinando engenharia de dados, arquitetura cloud e aplicações de IA em produção.