The Data Engineer will design and develop custom data connectors using Google Cloud Platform services to support a manufacturing modernization program. They will also implement reliable data integration processes, including error handling and observability, while collaborating with architects to ensure data quality.
O que buscamos
Buscamos uma pessoa Engenheira de Dados com experiência em Google Cloud Platform (GCP), integração de dados e desenvolvimento de conectores customizados. O profissional atuará em um programa de modernização do setor manufatureiro, contribuindo para a construção de uma plataforma baseada em IA, dados e analytics, em um ambiente altamente seguro e regulado.
Responsabilidades
Atuar no levantamento e definição de requisitos para conectores de dados customizados;
Colaborar com Analistas de Negócio e Arquitetos de Dados para identificar fontes que necessitem de desenvolvimento específico;
Desenvolver conectores customizados utilizando serviços nativos do Google Cloud Platform;
Implementar processos de integração de dados com foco em confiabilidade, escalabilidade e observabilidade;
Configurar mecanismos de tratamento de falhas, lógica de reprocessamento e filas de recuperação de erros;
Realizar testes de conectores utilizando dados de amostra e dados sintéticos;
Documentar o comportamento, configurações e dependências dos conectores desenvolvidos;
Garantir a qualidade e a aderência das integrações às diretrizes de arquitetura e governança de dados;
Apoiar a transição de conhecimento e entrega das soluções para as equipes responsáveis pela sustentação e evolução do ambiente;
Contribuir para iniciativas de integração, modelagem e gestão de dados no ecossistema de analytics da organização;
Requisitos e Qualificações
Experiência com Google Cloud Platform (GCP);
Conhecimento em Big Data no ecossistema Google Cloud;
Experiência com bancos de dados relacionais e não relacionais;
Vivência em integração de dados, ETL e pipelines de processamento;
Experiência com Dataflow, Cloud Functions e Cloud Run;
Conhecimento em análise e modelagem de dados;
Conhecimento em governança de dados;
Experiência em gestão e qualidade de dados;
Capacidade de documentar soluções técnicas e processos de integração;
Experiência no desenvolvimento e testes de conectores de dados customizados;
Diferenciais
Experiência em projetos de transformação digital no setor industrial ou manufatureiro;
Vivência com plataformas de analytics utilizando Looker;
Conhecimento em arquiteturas orientadas a dados e plataformas habilitadas por IA;
Experiência em ambientes com requisitos elevados de segurança e conformidade;
Conhecimento de práticas de observabilidade, monitoramento e resiliência de pipelines de dados;
Experiência em migração de conectores e integração de múltiplas fontes de dados.
“I was the first applicant for a remote marketing position that got listed on the company website the same day I applied. Had an interview within 48 hours!”