Los procesos ETL (extracción, transformación y carga de datos) solían estar orientados a lotes y se realizaban por la noche. Hoy en día, el término suena casi anticuado, ya que se habla más bien de integración de datos, explica el responsable de Informatica en DACH.
Cuando Informatica se fundó hace 26 años, se trataba principalmente de extraer datos de silos en grandes clientes con mainframes para poder utilizarlos posteriormente. "Eso tuvo mucho que ver con el trabajo de interfaz. Por ejemplo, imaginemos un sistema en un mainframe que se encarga de los procesos logísticos. Para sacar los datos y poder utilizarlos en un sistema de contabilidad financiera o de elaboración de informes, se programaron interfaces automáticamente en segundo plano", explica Oliver Schröder, Director General de Informatica en DACH. No existían estándares de interfaz abiertos como los actuales, por lo que había que crear interfaces propias de movimiento de datos. En este contexto, la idea básica del principio ETL, es decir, la extracción, transformación y carga de datos, procede de Informatica, afirma el jefe de DACH. "Aunque la terminología fue acuñada por Gartner y otros analistas". La extracción de datos (del sistema A), la transformación (para el sistema B) y la carga de datos (por parte del sistema B) se ejecutaba a menudo por la noche.
ETL suena casi anticuado
El acceso en tiempo real tampoco era un problema en aquel entonces, y en general el término ETL suena casi anticuado, a pesar de que representa los fundamentos de la informática. Hoy en día, hablamos de integración de datos, independientemente de si hablamos del intercambio de datos a través de interfaces abiertas a través de los límites del sistema de, por ejemplo, Salesforce, Oracle o soluciones de IBM, o sobre el movimiento de datos entre el mundo on-premise y la nube.
El tema de la "gestión de la calidad de los datos" ganó inmensamente en importancia. Por un lado, a nivel de la arquitectura de almacenamiento, es decir, la cuestión de dónde se encuentran los datos y si están correctamente colocados allí. Por otro lado, la cuestión de la medida en que los datos son correctos en términos de contenido. "Por ejemplo, si un número de tarjeta de crédito almacenado es coherente con respecto al dígito de control es una cuestión de este ámbito. O la cuestión de si hay una palabra junto a una cantidad o viceversa. Cuando se trata de la gestión de datos maestros, el problema de los duplicados desempeña un papel fundamental", afirma Schröder. Una de las tareas de la gestión de datos maestros es poner las cosas en orden.
Antiguos y nuevos problemas
Un problema casi universal en este contexto es que los mismos clientes se almacenan en varios sistemas, por ejemplo, una vez como cliente de cotización en Salesforce y otra como cliente de facturación en SAP. Otros problemas causados por la transformación digital son exclusivos de cada industria. Schröder nombra los niveles en los que se producen: Nube/Híbrido, Analítica de Próxima Generación, Compromiso 360 y Gobierno de Datos/Cumplimiento. El reto tecnológico en este caso es "ser capaz de manejar por igual los datos de las bases de datos relacionales clásicas, los datos almacenados en sistemas de archivos y los formatos de Big Data, como los necesarios para los sistemas Hadoop". Esto es cualquier cosa menos trivial, según el jefe de Informatica. Todos estos temas migrarán ahora gradualmente desde los grandes clientes -como en los primeros tiempos de Informatica- hasta las medianas empresas que están digitalizando su negocio.
La estrategia de los socios se está adaptando
El aspecto de la gobernanza es ahora un motor muy importante para que cada vez más empresas se ocupen del tema de la gestión de datos: "Ya sea sobre la recopilación adecuada de datos sobre rutas de transporte para la verificación de la cadena de suministro o sobre el tema de la DSGVO. Basilea III y el próximo Basilea IV también desempeñan un papel en este sentido", informa el profesional de los datos.
"En el contexto de estos desarrollos, nuestra estrategia de socios está cambiando", revela el jefe de Informatica. El número de socios va a aumentar e Informatica busca revendedores de valor añadido que estén profundamente arraigados en su sector. Un candidato típico para un futuro VAR de Informatica tiene acceso directo al cliente, por ejemplo, relacionado con ERP o DRM. A continuación, se añaden automáticamente los temas de integración de datos, calidad de datos y gestión de datos maestros.