AWS Data Engineer

¡Se parte del principal partner de AWS en Latinoamérica y ayuda a las empresas más grandes e innovadoras a acelerar su viaje a la nube! ☁️

Somos un grupo de profesionales talentosos y apasionados en tecnologías en la nube, enfocados en el cliente y con capacidad de afrontar cualquier desafío. 

¡Queremos que seas parte de nuestro crecimiento! Buscamos un AWS Data Engineer capaz de implementar procesos de ingesta y transformación de datos, así como monitorear, solucionar problemas, optimizar costos y rendimiento, orquestar procesos, gestionar modelos analíticos y garantizar la seguridad y gobernanza en todo el ciclo de vida del dato, siguiendo las mejores prácticas de la industria, en la nube de AWS.

Responsabilidades Principales

• Ingesta y Transformación de Datos

  • Diseñar e implementar procesos de ingesta tanto por lotes (batch) como en tiempo real (streaming), dependiendo de la naturaleza del caso de uso, utilizando servicios como Amazon Kinesis, Amazon MSK, AWS Glue, entre otros.

  • Desarrollar procesos de ETLs ó ELTs, en base a requerimientos del negocio, aplicando conceptos de computación distribuída.

  • Lectura y transformación de formatos diversos de archivos (CSV, XLSX, JSON, PARQUET, XML, etc.)

  • Orquestar flujos de trabajo utilizando servicios como AWS Step Functions, Amazon MWAA (Airflow) y AWS Lambda.

  • Optimizar consultas SQL y código para reducir el tiempo de ejecución, asegurando la concurrencia necesaria, y optimizando costos.

  • Implementar procesos de extracción de datos provenientes de APIs, así como también de bases de datos relacionales mediante mecanismos FULL y Change Data Capture (CDC).

• Gestión de Almacenamiento de Datos

  • Elegir e implementar el almacén de datos óptimo (ejemplo: Amazon Redshift, DynamoDb, Amazon S3) basándose en patrones de acceso y requisitos de rendimiento.

  • Diseñar modelos de datos y esquemas, gestionando la evolución de los mismos, utilizando herramientas como AWS Glue Data Catalog.

  • Gestionar el ciclo de vida de los datos, configurando políticas de retención (S3 Lifecycle) y estrategias de archivado para optimizar costos.

  • Experiencia con formatos Open Table (Iceberg, Delta Lake y Hudi). Deseable, Iceberg.

• Operaciones y Calidad de Datos

  • Automatizar el procesamiento de datos y solucionar problemas en flujos de trabajo gestionados.

  • Analizar datos y asegurar su calidad mediante servicios como Amazon Athena y AWS Glue, implementando reglas de validación y limpieza.

  • Monitorear flujos de trabajo utilizando servicios como Amazon CloudWatch y AWS CloudTrail para rastrear llamadas API, analizar logs y auditar trazabilidad.

• Seguridad y Gobernanza

  • Implementar mecanismos de autenticación y autorización (IAM, Lake Formation, etc.) siguiendo el principio de mínimo privilegio.

  • Asegurar el cifrado de datos en reposo y en tránsito ( usando AWS KMS) y aplicar técnicas de enmascaramiento de datos sensibles (PII) en aquellos casos donde aplique.

  • Gestionar la gobernanza y privacidad de los datos, incluyendo el cumplimiento de soberanía de datos y prevención de fugas mediante servicios como AWS Lake Formation. Deseable, conocimiento y familiaridad con SageMaker Unified Studio.

• Inteligencia de Negocios:

  • Creación de Conjuntos de Datos, Visualizaciones y Tableros para análisis de datos en herramientas de Inteligencia de Negocios como por ejemplo Amazon Quicksight/Quick Suite.

¿Cuáles son los conocimientos técnicos requeridos? 💻

Experiencia General: Al menos 3 años de experiencia en ingeniería de datos

• Experiencia en AWS: Al menos 3 años de experiencia práctica utilizando servicios de AWS

• Comprensión del Entorno: Debe entender los efectos del volumen, variedad y velocidad en la ingesta, transformación y modelado de datos, así como las ventajas y desventajas del uso de arquitecturas para Data Lake, Data Warehouse y Lake House.

• Certificaciones AWS: Deseable, AWS Certified Data Engineer - Associate

• Programación: Capacidad para aplicar conceptos de programación (independiente del lenguaje) y estructurar consultas SQL Complejas. Deseable, dominio competente de Python.

• Control de versiones: Uso competente de comandos Git para control de código fuente.

• Servicios de AWS:

  • Analítica: Athena, Glue, Lake Formation, Kinesis, QuickSight. Deseable: SageMaker Unified Studio. Opcional: EMR.

  • Cómputo y Contenedores: Lambda, EC2, Glue Notebooks.

  • Base de datos: Redshift, DynamoDB, RDS

  • Orquestación: Step Functions, EventBridge. Opcional: MWAA

• Infraestructura como Código (IaC): Conocimiento de AWS CloudFormation o AWS CDK para despliegues repetibles. Deseable experiencia con Terraform.

¡Descubre qué te espera en Escala 24x7! 🧗

🌍 Esquema 100% remoto y flexible para trabajar desde cualquier lugar del mundo.

☁️ Certificaciones AWS 100% cubiertas.

🤓 Plataforma de aprendizaje gratuitas para escalar tu conocimiento.

🌴 15 días hábiles al año para recargar energía y seguir escalando.

🎉 Día libre de cumpleaños.

📅 Días libres según el calendario de feriados nacionales del país donde resides.

🎁 Obsequios especiales para celebrar los momentos más importantes de tu vida.

👶 Licencia por nacimiento extendida.