Ingeniero Senior de Datos (Python y AWS)

Descripción

Resumen: Buscamos un Ingeniero Senior de Datos experimentado con habilidades expertas en PySpark para construir tuberías ETL, arquitecturas de lagos de datos e integraciones de fuentes de datos en AWS, trabajando con datos estructurados y no estructurados. Aspectos destacados: 1. Oportunidad de contribuir a soluciones de datos a gran escala 2. Colaborar con equipos multifuncionales en un entorno dinámico 3. Diseñar y optimizar tuberías ETL utilizando PySpark y trabajos de AWS Glue Buscamos un **Ingeniero Senior de Datos** experimentado con habilidades de nivel experto en PySpark y experiencia práctica en la construcción de tuberías ETL, arquitecturas de lagos de datos e integraciones de fuentes de datos en AWS para unirse a nuestro equipo. Trabajarás tanto con datos estructurados como no estructurados, ingiriendo desde múltiples fuentes de datos locales y empresariales, como SAP, Intelex, SQL y OSI PI, hacia AWS. Este puesto ofrece la oportunidad de contribuir a soluciones de datos a gran escala y colaborar con equipos multifuncionales en un entorno dinámico. **Responsabilidades** * Diseñar, desarrollar y optimizar tuberías ETL utilizando PySpark y trabajos de AWS Glue para procesar grandes volúmenes de datos estructurados y no estructurados * Orquestar flujos de trabajo de datos con Apache Airflow, garantizando una programación confiable, gestión de dependencias y control robusto de errores * Construir y mantener fuentes de datos desde sistemas locales y empresariales hacia entornos de lagos de datos en AWS * Integrar con fuentes de datos empresariales, incluyendo SAP para datos ERP y operativos, Intelex para datos ambientales, de salud, seguridad y calidad, bases de datos SQL para datos relacionales y OSI PI para datos industriales y de historiadores de procesos en tiempo real * Desarrollar y gestionar interacciones mediante API para extraer datos desde servicios locales hacia AWS * Gestionar la extracción, transformación y carga de datos en diversos formatos y protocolos * Apoyar el diseño y mantenimiento de arquitecturas de lagos de datos en AWS mediante Amazon S3, AWS Glue y Lake Formation * Asegurar que los datos estén catalogados, particionados y optimizados para análisis e informes * Implementar controles de calidad de datos, validaciones y seguimiento de la línea de origen (data lineage) en todas las tuberías **Requisitos** * Mínimo 3 años de experiencia en puestos de ingeniería de datos * Competencia avanzada en Python y PySpark para procesamiento de datos y desarrollo de tuberías * Amplia experiencia en procesos de Extracción, Transformación y Carga (ETL) * Experiencia en la orquestación de flujos de trabajo con Apache Airflow * Trayectoria comprobada en la construcción de tuberías de datos productivas en AWS * Experiencia práctica con trabajos de AWS Glue para procesamiento ETL * Conocimientos sobre patrones de lagos de datos, Amazon S3 y técnicas de catalogación de datos * Experiencia con herramientas nativas de monitoreo y operaciones de AWS * Capacidad para integrar sistemas empresariales mediante API, JDBC o conectores nativos, incluidos SAP, Intelex, bases de datos SQL y OSI PI * Capacidad para trabajar con formatos de datos estructurados y no estructurados * Excelentes habilidades de documentación, comunicación y colaboración * Habilidades de comunicación en inglés al nivel B2+ o superior, tanto escritas como habladas **Deseable** * Conocimiento del sector energético, del petróleo y el gas o de entornos industriales de datos * Comprensión de los flujos y la terminología relacionados con datos de perforación y terminación