Tecnología 'in-memory' para el Business Intelligence

Mercado
sábado, 26 de septiembre de 2009

En mi anterior artículo comentaba la relevancia que le están dando los proveedores de Business Intelligence a la tecnología "in-memory".

La memoria RAM in memory para el Business Intelligence

A través de Information Week , he sabido que el nuevo producto de SAP (SAP Business Objects Explorer) también utiliza esta técnica para ofrecer unos mejores tiempos de respuesta.

Creo que la idea es interesante y hemos estar atentos para ver su evolución. Sin embargo, de entrada, le veo algunas "pegas".

Principalmente, considero que los proveedores de bases de datos (Oracle, SQL Server, Teradata...) tienen unos productos excelentes, altamente optimizados, robustos, y que pueden gestionar volúmenes de información grandes y pequeños. También disponemos de bases de datos multidimensionales. ¿Realmente QlickView, Microstrategy o BO deben reinventar la rueda para ofrecer una manera mejor de realizar consultas? ¿A qué aspectos estaremos renunciando? Se me ocurren los siguientes:

  • Volumen de información. Evidentemente, estos sistemas "en-memoria" estarán limitados en la cantidad de información que pueden gestionar. Aunque, de todos modos, es cierto que ni todos los datawarehouse tienen decenas de teras, ni las consultas habituales requieren todo el detalle de información.
  • Modelo de datos. El modelo de datos de estos sistemas es extremadamente sencillo, no se defienen ni índices, ni relaciones, ni nada. En teoría, todo está optimizado. Sin embargo, ¿Puede nuestro modelo de negocio modelizarse de una manera tan sencilla? ¿Realmente podemos prescindir de relaciones n-m? ¿Todo puede incluirse en una sola tabla de hechos? Mi experiencia dice que no, y que las "consultas habituales" requieren modelos de datos más complejos. Y si no fuera asi, ¡¡Ya tenemos los cubos multidimensionales!! ¡¡Que sí que ofrecen respuestas instantáneas para un volumen de datos moderado!!

Mi conclusión es que estas soluciones pueden complicar un catálogo de productos ya excesivamente complejo, y que pueden generar nuevos problemas (duplicación de información y procesos, básicamente).

En los comentarios del artículo de Information Week alguien hacia algunas reflexiones interesantes:

I regularly hear the MPP database vendors bat down in-memory solutions as a transitory bump-up in scalability and performance, effective for now, but not on a long-term roadmap. They contend that when the data volumes and analytics workloads inevitably grow, in-memory hardware becomes less practical and economic, and ultimately has scalability limits. Of course, as SSDs become more economical and replace conventional disk drives, then MPP database vendors will become on a larger scale closer to what in-memory solutions provide now on a smaller scale. -–Mike

Efectivamente, los dispositivos en estado sólido (SDD) están a punto de revolucionar la tecnología del almacenamiento. De hecho, Teradata ya los incluye en su "roadmap"... Estos dispositivos de almacenamiento usan memoria no volátil tales como flash para almacenar datos, en lugar de los platos giratorios encontrados en los discos duros convencionales, por lo que su lectura es mucho más rápida. ¿Afectará esto a la naciente tecnología "in-memory"?