Ingeniero de Azure Databricks

Descripción

Resumen: Buscamos un ingeniero experimentado de soporte para plataformas Azure y Databricks con experiencia en la gestión, supervisión y optimización de plataformas de datos empresariales construidas sobre Azure y Databricks. Aspectos destacados: 1. Gestionar y optimizar plataformas de datos empresariales en Azure y Databricks. 2. Brindar soporte de nivel 2 y nivel 3 para los servicios de la plataforma de datos de Azure. 3. Diagnosticar y resolver incidencias en producción y optimizar las canalizaciones de datos. En Capgemini Engineering, líder mundial en servicios de ingeniería, reunimos a un equipo global de ingenieros, científicos y arquitectos para ayudar a las empresas más innovadoras del mundo a desatar su potencial. Desde automóviles autónomos hasta robots que salvan vidas, nuestros expertos en tecnología digital y de software piensan fuera de lo convencional al ofrecer servicios únicos de investigación y desarrollo (I+D) e ingeniería en todos los sectores industriales. Únete a nosotros para una carrera llena de oportunidades, donde puedes marcar la diferencia y donde ningún día es igual al anterior. **Descripción del puesto** ------------------- **Ingeniero de soporte para plataformas Azure y Databricks (de nivel SSr a Sr)** **Resumen del puesto** Buscamos un ingeniero experimentado de soporte para plataformas Azure y Databricks para gestionar, supervisar y optimizar plataformas de datos empresariales construidas sobre Azure y Databricks. El rol implica garantizar la fiabilidad, el rendimiento, la seguridad y la excelencia operativa de la plataforma, mientras se brinda soporte a cargas de trabajo de ingeniería de datos, plataformas analíticas y canalizaciones de datos críticas para el negocio. Buscamos un candidato sólido capaz de trabajar de forma independiente con el cliente. **Responsabilidades clave** * Supervisar y brindar soporte a los espacios de trabajo, clústeres, trabajos, flujos de trabajo y entornos Delta Lake de Azure Databricks. * Brindar soporte de nivel 2 y nivel 3 para los servicios de la plataforma de datos de Azure, incluidos Azure Databricks, Azure Data Factory (ADF), Azure Synapse, Azure Data Lake Storage (ADLS), Azure Key Vault y Azure DevOps. * Diagnosticar y resolver incidencias en producción, errores en trabajos, cuellos de botella de rendimiento y problemas en las canalizaciones de datos. * Supervisar flujos de trabajo programados, desencadenadores, canalizaciones y procesos por lotes para garantizar el cumplimiento de los acuerdos de nivel de servicio (SLA). * Implementar monitoreo proactivo, alertas, registro y observabilidad mediante Azure Monitor, Log Analytics e Application Insights. * Gestionar la seguridad de la plataforma, el control de acceso basado en roles (RBAC), las entidades de servicio, los secretos y los controles de acceso a los datos. * Apoyar la automatización de implementaciones mediante canalizaciones CI/CD con Azure DevOps. * Realizar actividades de mantenimiento de la plataforma, incluidas actualizaciones, aplicaciones de parches, optimización de clústeres y gestión de configuraciones. * Colaborar con equipos de aplicaciones upstream y downstream, usuarios comerciales y equipos de ingeniería de datos para resolver problemas de integración de datos. * Crear y mantener manuales operativos, artículos de conocimiento y documentación de soporte. * Impulsar iniciativas de mejora continua centradas en la estabilidad de la plataforma, la afinación del rendimiento y la optimización de costos. * Brindar soporte para la recuperación ante desastres, estrategias de copia de seguridad y requisitos de alta disponibilidad. **Habilidades requeridas** * Experiencia práctica sólida con Azure Databricks, PySpark, Spark SQL y Python. * Experiencia brindando soporte a Azure Data Factory, Azure Data Lake Storage (ADLS), Azure Synapse Analytics y Azure SQL. * Conocimientos sobre Delta Lake, Unity Catalog, flujos de trabajo de Databricks y gestión de clústeres. * Experiencia en monitoreo y resolución de problemas en entornos distribuidos de procesamiento de datos. * Experiencia práctica con Azure DevOps, Git, canalizaciones CI/CD e infraestructura como código (IaC). * Comprensión de la seguridad en la nube, la gestión de identidades, la red y la gobernanza en Azure. * Experiencia con marcos ETL/ELT y procesamiento de datos a gran escala. * Excelentes habilidades analíticas y de resolución de problemas. **Cualificaciones preferidas** * Certificación Microsoft Azure Data Engineer Associate (DP-203). * Certificación Databricks Certified Data Engineer Associate/Professional. * Certificación Microsoft Azure Administrator Associate. **Experiencia** * Más de 3 años de experiencia en plataformas de datos. * Más de 3 años de experiencia práctica en soporte y administración de Azure Databricks. * Experiencia brindando soporte a entornos de producción bajo un modelo de 24x7 o servicios gestionados. **Descripción del puesto \u2014 Específica por grado** ------------------------------------- Cuenta con más de un año de experiencia laboral relevante. Comprende sólidamente los conceptos de programación, diseño de software y principios de desarrollo de software. Trabaja de forma constante siguiendo instrucciones con mínima supervisión, obteniendo resultados precisos y confiables. Se espera que las personas puedan abordar una variedad de tareas y problemas, demostrando su capacidad para aplicar sus habilidades y conocimientos. Organiza su propio tiempo para cumplir con las tareas asignadas por otros con un horizonte a mediano plazo. Trabaja de forma cooperativa con otros para alcanzar los objetivos del equipo y tiene un impacto directo y positivo en el desempeño del proyecto, tomando decisiones basadas en su comprensión de la situación, no solo en las reglas. Capgemini es un socio global de transformación empresarial y tecnológica que ayuda a las organizaciones a acelerar su doble transición hacia un mundo digital y sostenible, generando al mismo tiempo un impacto tangible para las empresas y la sociedad. Es un grupo responsable y diverso integrado por 340 000 miembros del equipo en más de 50 países. Con una trayectoria sólida de más de 55 años, Capgemini es una empresa de confianza para sus clientes a la hora de desbloquear el valor de la tecnología y abordar toda la amplitud de sus necesidades empresariales. Ofrece servicios y soluciones de extremo a extremo aprovechando sus fortalezas desde la estrategia y el diseño hasta la ingeniería, todo ello impulsado por sus capacidades líderes en el mercado en inteligencia artificial (IA), IA generativa, nube y datos, combinadas con su profunda experiencia sectorial y su ecosistema de socios.