The Data Engineer will develop and maintain scalable data pipelines and processes for ingestion, transformation, and analytical consumption. They will collaborate with cross-functional teams to build and sustain data solutions within a Cloud environment.
O que buscamos
Buscamos um(a) Engenheiro(a) de Dados para atuar no projeto à Reforma Tributária, integrando o time responsável pela construção, evolução e sustentação de soluções de dados em ambiente Cloud.
O profissional será responsável pelo desenvolvimento de pipelines de dados escaláveis, processos de ingestão, transformação e disponibilização de dados para consumo analítico, trabalhando com Databricks, Azure Data Factory, SQL, Python/PySpark e arquitetura de dados em Cloud.
Responsabilidades
Desenvolver e manter pipelines de dados escaláveis e eficientes;
Atuar na ingestão, transformação e disponibilização de dados para consumo analítico;
Trabalhar com arquitetura de dados em ambiente Cloud;
Desenvolver soluções de engenharia de dados utilizando Databricks;
Utilizar Azure Data Factory para orquestração de pipelines;
Garantir a qualidade, governança e performance dos dados;
Desenvolver e manter processos de ETL/ELT;
Monitorar processos de integração e processamento de dados;
Identificar e implementar melhorias de performance e eficiência;
Colaborar com times de Engenharia, Analytics e Negócio para entendimento de requisitos;
Transformar requisitos de negócio em soluções de dados;
Atuar na construção, evolução e sustentação das soluções de dados do projeto;
Contribuir para a integração e disponibilização de dados para análises e consumo pelas áreas envolvidas.
Requisitos Obrigatórios
Experiência profissional em Engenharia de Dados;
Conhecimento em Databricks para processamento e engenharia de dados;
Experiência com Azure Data Factory para orquestração de pipelines;
Conhecimento em SQL e modelagem de dados;
Experiência com Python ou Spark (PySpark);
Experiência com ambientes Cloud, preferencialmente Azure;
Conhecimento em práticas de ETL/ELT;
Conhecimento em integração de dados;
Capacidade de desenvolver e manter pipelines de dados escaláveis;
Conhecimento em práticas de qualidade, governança e performance de dados.
Diferenciais
Experiência com arquitetura moderna de dados, como Data Lake e Lakehouse;
Conhecimento em governança e qualidade de dados;
Experiência em ambientes com grande volume de dados;
Certificações Databricks, como:
Databricks Certified Data Engineer Associate/Professional;
“I was the first applicant for a remote marketing position that got listed on the company website the same day I applied. Had an interview within 48 hours!”