Requisitos:
Implementar soluções adequadas ao processamento (batch e stream) de grande volume de dados, conforme conhecimentos abaixo:Experiência nas Linguagens Pyspark, Python, SQL para preparar e manipular dados;
Experiência de leitura e escrita de formatos de dados Big Data;
Atuar em plataforma cloud Azure;
Experiência em Databricks, Storage Account, CosmosDB (MongoDB), Data Factory, Azure Devops;
Capacidade de levantamento e Análise de Requisitos de negócio e técnicos;
Experiência na ingestão, manipulação e tratamento de dados estruturados e principalmente semi estruturados;
Atuação em projetos de stream de dados;
Experiência com Kafka Confluent;
Experiência com otimização de performance de pipelines de dados;
Configurações cluster Databricks;
Atuar na mentoria para os demais membros da equipe, compartilhando boas práticas e conhecimento técnico;Inglês Técnico
Atividades:
Efetuar ingestão, transformação e disponibilização de dados num ecossistema Big Data.
Realizando tratamento de dados, analisando e avaliando a qualidade, e eventual necessidade de otimizar os processos.
Implementar e alterar pipelines de dados;
Criar modelagem de dados;
Extrair, transformar e carregar (ETL) dados de diferentes origens e formatos
BENEFÍCIOS:
Vale Transporte
Vale Alimentação
SALÁRIO: A combinar
Horário: Comercial
Regime de Contratação: Efetivo (CLT)
VAGAS: 1
Cidade: Campinas - SP