Analítica e Inteligencia de Negocios en 2020

En estos tiempos, al asomarnos al universo de los datos, quedamos abrumados por la abundancia de términos, a los cuáles nos enfrentamos para el abordaje de este tema: Analytics, IoT, Big Data, Data Ingestion, ETL, Data Lakes, Machine Learning, Artifical Intelligence, Hadoop, Spark, Phyton, R, SQL, Data Mining, Data Warehouse, Business Intelligence (BI), OLAP, Cloud computing y un largo etc.
Analítica e Inteligencia de Negocios en 202x

«Si bien las herramientas de exploración de datos son una buena solución para las necesidades más inmediatas de algunos usuarios, introducen otros problemas: falta de gobierno y eventuales problemas de rendimiento, al aumentar la complejidad y volumen de los datos.»

Y es que an realidad son tantos los términos asociados a la analítica, que en este espacio de blog, es casi imposible aclaralos y abordarlos todos, por lo tanto nos enfocaremos, en quizás, uno de los más antiguos: Inteligencia de Negocios o BI.

Según (Wikipedia, 2020), el término fue usado, inicialmente por Hans Peter Luhn primera en un artículo de 1958, posteriormente en 1989, Howard Dresner, quién luego fuera analista de Gartner Group, lo usa para describirlo de la siguiente manera: “los conceptos y métodos para mejorar la toma de decisiones empresariales mediante el uso de sistemas basados en hechos de apoyo”. Su significado era usado para agrupar, un conjunto muy general de elementos, por lo cual, para ser más específicos usaremos la siguiente definición:

BI: [Los] Sistemas de Inteligencia de Negocios combinan la recolección, almacenamiento de datos y gestión de conocimiento con herramientas analíticas para presentar información interna y competitiva a los planificadores y tomadores de decisiones. (Negash, 2004, pág. 178).

El modelo clásico de BI

“Si bien el uso y significado del término pueden haber sufrido algunos cambios, la definición esencial se mantiene desde entonces. Sin embargo, con el transcurrir de los años, las técnicas y herramientas han evolucionado permanentemente; y con el creciente aumento en el volumen y la variedad de los datos disponibles, cada vez surgen nuevos problemas que deben ser afrontados por ese abanico de conceptos y métodos que está en constante evolución y crecimiento.” (Cotes Londoño, 2015, pág. 28).

Si comenzamos por el BI más clásico, estamos hablando de iniciativas principalmente corporativas que pretendían unificar, en una bodega de datos (Data Warehouse), una gran cantidad de datos históricos acerca de múltiples procesos de negocio, generados por los sistemas de una organización, con el propósito de ser analizados, entendidos y usados por los tomadores de decisiones.

Dicha bodega requiere de una serie de procesos que permita sincronizar los datos con los que se generan en los sistemas de información de una organización. A estos procesos se les ha denominado procesos de ETL (Extraction Transformation and Loading y hay otras variantes como ELT y ELTL). Una vez que los datos residen en la bodega están disponibles para ser consultados o analizados mediante herramientas y técnicas analíticas.

La bodega de datos corporativa representa “única versión de la verdad” acordada por la organización. Ese es el valor agregado del aspecto corporativo. Usualmente implica estandarización de conceptos, de categorías de análisis y el aseguramiento de unos criterios de calidad mínimos para los datos almacenados allí.
En BI se parte, siempre, de la premisa: mientras mejores sean los datos de la bodega mejora la probabilidad de tomar buenas decisiones.

Modelo gerencial clasico

Dado que el carácter corporativo de estas iniciativas implicaba proyectos muy largos y complejos, se fue optando por enfoques más departamentales, o un poco más federales, es decir, sin tanto control central y que permitiera responder a necesidades específicas de un área o proceso de negocio.

A los almacenamientos de estas “bodegas” departamentales se les llamó Data Marts. Conforme los motores de bases de datos fueron soportando mayores volúmenes de datos, poco a poco se fueron ampliando el alcance de éstos, que antes solo almacenaban información resumida, para que almacenaran datos a su máximo nivel de detalle; de ese modo ya no solo se tenía acceso a información analítica, además a la información operativa, soportando de esta forma, decisiones también de carácter operativo.

Inteligencia de Negocios madurando

Pero había un problema: las áreas de negocio dependían de la disponibilidad de recursos del proceso de TI, ya que los procesos de ETL y el diseño de las estructuras requieren de conocimientos en informática que no estaban disponibles en otras áreas de negocio.

El área de TI no solía tener la capacidad suficiente para atender la demanda de requerimientos de información y reporteo de los otros procesos de negocio, por lo tanto, comenzaron a aparecer nuevas herramientas más orientadas a los usuarios finales, donde no se requería escribir código en ningún lenguaje, y el cual contaba con suficientes ayudas para consultar y relacionar datos.

De este modo, una parte de estos usuarios finales pudo satisfacer sus necesidades de información más inmediatas, de forma relativamente autónoma, sin tener que esperar a TI, ni la implementación de un Data Mart que suministrara los datos. A este tipo de herramientas se les conoce como: exploración de datos (Data Exploration Tools) o como herramientas de autoservicio (Self-service BI).

Modelo gerencial evolucionado

Si bien las herramientas de exploración de datos son una buena solución para las necesidades más inmediatas de algunos usuarios, introducen otros problemas: falta de gobierno y eventuales problemas de rendimiento, al aumentar la complejidad y volumen de los datos. Es decir, estas herramientas se vuelven parte del abanico de posibilidades dentro de la estrategia de BI, pero no reemplazan a la bodega corporativa ni a los Data Marts en términos de rendimiento y gobernabilidad. Ejemplos de este tipo de herramientas son: QLik, Power BI, PowerPivot, entre otras.

La nube, Inteligencia de Negocios y Transformación Digital

La llegada de la nube, las redes sociales y la madurez de los innumerables servicios disponibles en la Internet, ha puesto de moda la llamada transformación digital, y con ella, todo un nuevo conjunto de técnicas, herramientas y nuevos paradigmas para extender el uso de la tecnología digital al interior de las organizaciones.
Sin embargo, la definición básica de Inteligencia de Negocios sigue siendo válida en este nuevo contexto, en tanto que su propósito sigue siendo el de articular el conjunto de herramientas y técnicas usando datos para soportar al planeador y al tomador de decisiones.

La Internet que soporta la nube y la nube misma, posibilitan la transformación debido a su ubicuidad. La inversión que se ha hecho, y se espera continúe, sobre estas tecnologías ha permitido que muchas empresas comiencen a migrar hacia la nube, con el fin de obtener una serie de ventajas, que son ofrecidas por los proveedores de nube como: Microsoft, AWS, IBM, Google entre otros, los cuales suelen proporcionar modalidades de servicio como Platform as a Service (PaaS) y Software as a Service (SaaS) que serían las más interesantes para el universo de los datos.

Conforme las organizaciones migran sus sistemas a la nube, se mueven también los almacenamientos de datos y, por ende, los elementos propios de la infraestructura de BI, los cuales se podrían desempeñar mejor a mayor cercanía con las fuentes de datos; de ahí que, en dichas infraestructuras de la nube confluyan las tecnologías clásicas de BI con nuevos paradigmas provenientes del mundo de la Internet y del Open Source entre otros, y terminen enriqueciendo el abanico de posibilidades tecnológicas para Inteligencia de Negocios.

Ejemplo de Arquitectura de inteligencia de negocios Usando componentes específicos de azure

En la arquitectura que se muestra en la gráfica anterior, las fuentes de datos pueden estar tanto en la nube como On-Premises (es decir en el sitio del cliente), a los procesos de ETL también se les llama de Ingesta de datos y, en el ejemplo de la nube de Microsoft (Azure), pueden ser realizados por herramientas como Integration Services corriendo sobre una máquina virtual (PaaS) o sobre Azure Data Factory (SaaS).

La bodega de datos podría estar soportada, según el ejemplo, por tecnologías SQL Server sobre Azure en el modelo SaaS como: SQL Database, SQL Managed Instance o Synapse Analytics. O bien, en el modelo PaaS corriendo SQL Server sobre una máquina virtual.

Para la bodega hay servicios SaaS como Synapse Analytics que se encuentra optimizado para un elevado rendimiento de tipo Big Data. Pero hay que llamar la atención también sobre la base de datos de apoyo al proceso de transformación, conocida como Staging. En principio podría estar soportada de forma similar a como se ha descrito para la bodega. Sin embargo, la nube ofrece componentes como Data Lakes, los cuales, por lo común, son de bajo costo y pueden servir como área de Staging para una estrategia de BI y proporcionan otras capacidades que pueden mejorar el rendimiento del proceso de ETL. Esto se debe a que son sistemas de almacenamiento de Big Data basados en tecnologías como Hadoop o Spark. De este modo puede verse como nuevos paradigmas apoyan y amplían las capacidades de algunos elementos de la arquitectura inicial.

Incluso, técnicas de Machine Learning e Inteligencia Artificial se han ido construyendo sobre algunos de estos servicios de la nube en todos los niveles: en la ingesta, en Staging (Data Lakes), en las herramientas de exploración de datos y en las herramientas de presentación, incluyendo algún nivel del procesamiento de lenguaje natural.

En el extremo derecho del gráfico de la arquitectura se representan las diferentes componentes para la construcción de modelos semánticos, de Machine Learning y un sinfín de componentes de integración para articular soluciones robustas y efectivas. También se muestran las herramientas de presentación de datos, de producción de reportes como Power BI, Excel y Reporting Services y las herramientas de exploración de datos. Todas ellas pueden consumir datos ya sea desde la bodega, Staging o desde las fuentes mismas.

Inteligencia de Negocios es un nombre que agrupa tecnologías y prácticas específicas con el propósito de soportar la toma de decisiones con base en información, pero esto no significa que las tecnologías y herramientas estén subordinadas a este término perse, pues cada una de ellas es en sí misma, es un universo de posibilidades, de conceptos y conocimiento.

En el ámbito de Machine Learning, minería de datos y afines, por ejemplo, hay científicos de datos que usan métodos avanzados de la estadística aplicada y otras técnicas, para elaborar modelos predictivos, inferenciales, etc.

Estos modelos diseñados y construidos por ese tipo de especialistas pueden posteriormente ser usados en el contexto de un proyecto particular. Otro ejemplo, en el ámbito de Internet of Things (IoT), es que cada dispositivo tiene el potencial de producir simultáneamente enormes cantidades de datos, los cuales son un problema típico de Big Data, luego esos datos pueden alimentar, en tiempo casi real, una serie de componentes de Machine Learning cuya salida suministra información a un componente automático que “decide” iniciar el despacho de un pedido.

Cuando todo el ciclo termina, cierta información de rendimiento es almacenada en la bodega de datos para tener un registro histórico del comportamiento del proceso. Así pues, en la nube, sus tecnologías terminan interactuando unas con otras y es difícil establecer un límite claro entre las disciplinas que intervienen. Algo que inició con tecnologías de Big Data puede terminar depositando datos en una bodega.

Bibliografía

  • Cotes Londoño, M. (2015). La Práctica de Inteligencia de Negocios. Guias para lograr proyectos exitosos. Medellín – Colombia.
  • Negash, S. (2004). Business Intelligence. Communications of the Association form Information Systems, 177-195.
  • Wikipedia. (2020). Business Intelligence. Obtenido de Wikipedia: http://en.wikipedia.org/wiki/Business_intelligence

 

Autor
Mauricio Cotes Londoño
Gerente de Estrategia BI