Please mention DailyRemote when applying
AI Summary
Develop and maintain data ingestion and transformation pipelines using Lakehouse architectures in GCP and Databricks. Ensure data quality, security, and performance while collaborating with business areas to implement dimensional and relational modeling.
\n
- Desenvolver e manter pipelines de ingestão e transformação de dados;
- Atuar com Lakehouse;
- Trabalhar em ambientes GCP e Databricks;
- Criar e evoluir estruturas de dados no BigQuery e Delta Lake;
- Apoiar a definição e aplicação de modelagem dimensional e relacional (Star Schema, Snowflake, etc.);
- Garantir qualidade, consistência e segurança dos dados;
- Apoiar atividades de monitoramento de performance e custos em nuvem;
- Trabalhar em conjunto com áreas de negócio e times de dados.
- Experiência com plataformas de Cloud (GCP)
- Domínio em BigQuery:
- Modelagem de dados
- Otimização de consultas
- Performance tuning
- Experiência com serviços de dados no GCP:
- Dataflow, Pub/Sub e Cloud Storage (diferencial)
- Forte conhecimento em SQL avançado
- Experiência com dbt (Data Build Tool) para:
- Transformação de dados
- Versionamento
- Implementação de boas práticas analíticas
- Experiência com Databricks:
- Desenvolvimento de pipelines de dados utilizando Spark (PySpark/SQL)
- Modelagem e transformação em ambiente Lakehouse
- Orquestração de workloads e otimização de performance
- Integração com arquiteturas modernas de dados (Delta Lake, medallion architecture)
- Conhecimento em ingestão de dados:
- Batch e streaming
- Experiência com transformação e modelagem de dados:
- ELT/ETL
- Modelagem dimensional e/ou Data Vault
- Conhecimento em governança de dados:
- Catálogo de dados
- Data lineage
- Políticas de acesso e segurança
- Experiência com qualidade de dados:
- Testes automatizados (dbt tests ou similares)
- Monitoramento e observabilidade de pipelines
- Experiência com migração de sistemas legados para Cloud
- Conhecimento em:
- Versionamento de código (Git)
- Práticas de CI/CD aplicadas a pipelines de dados
- Familiaridade com conceitos modernos:
- Data Products
- Data Mesh (diferencial)
Automatically Apply to the Best Remote Jobs
Stop the endless job search. Our AI finds and applies to the best jobs for you.
