Resumen del Puesto

El Ingeniero de Plataforma Big Data es el encargado de la administración, mantenimiento y soporte técnico de los ecosistemas basados en Cloudera. Su objetivo principal es garantizar que la infraestructura de datos sea robusta, segura y eficiente, asegurando la alta disponibilidad de los servicios y el correcto procesamiento de grandes volúmenes de información.

Este rol requiere un perfil técnico sólido con experiencia en Cloudera Private Cloud Base, gestión de servicios Hadoop y optimización de recursos. El ingeniero será el responsable de la salud del clúster, la gestión de pipelines con NiFi, la administración de flujos en Kafka y el soporte a la capa de persistencia en PostgreSQL, trabajando en un entorno ágil y colaborativo para habilitar las capacidades analíticas de la compañía.

Responsabilidades Principales

• Administrar y operar la plataforma Cloudera, gestionando clústeres en versiones 7.1.9 SP2 / 7.1.7 SP2 y su consola de administración Cloudera Manager 7.6.7.

• Ejecutar el mantenimiento preventivo y correctivo de servidores de aplicaciones y bases de datos, asegurando la continuidad operativa del ecosistema.

• Gestionar flujos de datos y orquestación utilizando Cloudera Flow Management (NiFi), Oozie y Kafka para garantizar la entrega de datos en tiempo y forma.

• Monitorear el rendimiento diario, analizando métricas de YARN, ejecución de queries en Hive y salud de los nodos para prevenir cuellos de botella.

• Atender y resolver incidentes técnicos, minimizando el impacto en el negocio y asegurando la restauración de servicios según los niveles de servicio (SLAs).

• Administrar la seguridad de la plataforma, implementando configuraciones de cifrado, auditoría y autenticación SSO en entornos Linux y Windows.

• Optimizar el almacenamiento y procesamiento, ajustando configuraciones de servicios para mejorar la eficiencia de jobs y pipelines.

• Gestionar contenedores con Docker, facilitando el despliegue de microservicios o herramientas complementarias a la plataforma de datos.

• Soportar la infraestructura de búsqueda y visualización, manteniendo la estabilidad de Elasticsearch y Pentaho BI.

• Documentar procesos técnicos, manteniendo actualizados los diagramas de arquitectura, manuales de operación y bitácoras de incidentes.

• Colaborar con soporte N3, escalando problemas críticos de la plataforma y gestionando los requerimientos de licenciamiento con el proveedor.

• Participar en células Ágiles, cumpliendo con los compromisos de los sprints y reportando avances en las sesiones de seguimiento.

Requisitos

• Experiencia: 3+ años en administración de plataformas Big Data o Ingeniería de Plataforma (Platform Engineering).

• Especialización en Cloudera: Experiencia demostrable trabajando con Cloudera Manager y componentes de la arquitectura CDP Private Cloud.

• Stack Tecnológico: Dominio técnico de YARN, NiFi, Hive, Kafka y Oozie.

• Bases de Datos: Conocimientos sólidos en administración y mantenimiento de PostgreSQL.

• Infraestructura y Sistemas: Manejo avanzado de sistemas operativos Linux, redes y gestión de contenedores con Docker.

• Seguridad: Conocimiento en integración de identidades (SSO) y protocolos de seguridad en clústeres Hadoop.

• Herramientas de Búsqueda/BI: Experiencia operativa en el mantenimiento de Elasticsearch y entornos de Pentaho.

• Metodologías: Experiencia de trabajo bajo marcos Agile (Scrum/Kanban).

• Capacidades: Enfoque proactivo hacia el monitoreo, excelentes habilidades de resolución de problemas (troubleshooting) y capacidad para trabajar bajo presión en incidentes críticos.