Data Engineer Semi Senior GCP

📍 Información General

• Ubicación: Colombia

• Modalidad: Remoto

🎯 Objetivo del Cargo

✅ Requisitos Indispensables

Formación Académica

• Ingeniero de Sistemas

Experiencia

• Mínimo 3 años de experiencia trabajando en Google Cloud Platform (GCP).

• Experiencia desempeñándose como Data Engineer, Ingeniero de Datos, Cloud Data Engineer o Big Data Engineer.

• Experiencia comprobable en proyectos productivos utilizando GCP.

• Experiencia construyendo y manteniendo pipelines de datos.

• Experiencia en procesos ETL y ELT.

• Experiencia consumiendo APIs para integración de información.

• Experiencia implementando procesos Batch.

• Experiencia trabajando con CDC (Change Data Capture).

• Experiencia utilizando Git en entornos colaborativos.

• Experiencia construyendo o manteniendo DAGs en herramientas de orquestación.

⚙️ Conocimientos Técnicos Indispensables

Google Cloud Platform (GCP)

• BigQuery.

• Google Cloud Storage (GCS).

• IAM (Identity and Access Management).

Desarrollo y Procesamiento de Datos

• Python nivel intermedio-avanzado.

• Desarrollo de transformaciones de datos.

• Automatización de procesos.

• Construcción de pipelines de datos.

Bases de Datos y SQL

• SQL avanzado.

• Joins.

• Subconsultas.

• Window Functions.

• Optimización de consultas.

• Modelado de datos.

• SQL Server o PostgreSQL.

Orquestación

• Cloud Composer.

• Apache Airflow.

• Desarrollo y mantenimiento de DAGs.

Integración de Datos

• ETL.

• ELT.

• Consumo de APIs.

• CDC (Change Data Capture).

• Procesamiento Batch.

Control de Versiones

• Git.

⭐ Conocimientos Deseables

• Cloud Functions.

• Cloud Run.

• Data Fusion.

• Dataplex.

• Data Catalog.

• Data Lineage.

• Data Quality.

• Azure DevOps.

• Procesos CI/CD.

• SonarCloud.

• SonarQube.

• Pytest.

🔑 Responsabilidades

• Diseñar, desarrollar y mantener pipelines de datos sobre Google Cloud Platform.

• Implementar procesos de integración de información mediante ETL y ELT.

• Construir y optimizar consultas SQL para procesamiento y análisis de datos.

• Desarrollar procesos automatizados utilizando Python.

• Diseñar y mantener flujos de orquestación utilizando Cloud Composer y Apache Airflow.

• Gestionar cargas de datos desde múltiples fuentes hacia plataformas corporativas.

• Implementar mecanismos de control, calidad y trazabilidad de la información.

• Colaborar con equipos técnicos y de negocio para entender necesidades de datos y proponer soluciones.

• Participar en actividades de mejora continua relacionadas con rendimiento, estabilidad y calidad de los procesos de datos.

• Gestionar código fuente y versiones mediante herramientas de control de cambios.

🤝 Competencias

• Autonomía.

• Capacidad de análisis.

• Comunicación efectiva.

• Orientación a la calidad.

• Proactividad.

• Trabajo colaborativo.