Democratización de los datos

Capgemini

2016-10-24

Los datos se han convertido en una parte esencial en la mejora de las organizaciones y en el desarrollo de negocio de las compañías.

Existe un concepto que describe el libre acceso a los datos por parte de las personas llamado democratización de los datos[1]. Esta idea es normalmente aplicable en organizaciones y significa la posibilidad de que los datos que maneja la empresa puedan ser analizados por cualquier empleado de la organización.

Los beneficios de aplicar este concepto en las organizaciones son los siguientes:

Se consigue ampliar la capacidad de análisis basado en datos de la empresa, pasando de unas pocas personas, las cuales normalmente trabajan en el departamento IT de la organización, a toda la plantilla, como pueden ser la gente de negocio o los trabajadores de primera línea.
Con las herramientas adecuadas, estas personas más centradas en el negocio pueden ser capaces de analizar los datos. Pueden detectar más fácilmente eventos o patrones que puedan ser de ayuda para el funcionamiento o negocio de la organización.
Se potencia las capacidades de las personas. Aparte de realizar su rol habitual, añaden las tareas de análisis para la mejora de los procesos en los que están implicados o de otros procesos, sin la dependencia de un equipo aparte, con las ventajas que eso conlleva en términos de agilidad y rapidez.

Debido a las limitaciones de los sistemas de almacenamiento de datos hasta hace pocos años, la aplicación de este concepto era muchas veces irrealizable. De manera habitual la inversión en tecnología que se hacía era para cubrir el tratamiento de datos necesario del día a día, debido al coste. Pero tecnologías relacionadas con BigData han conseguido que sea más asequible implantar este tipo de plataformas.

Una de las primeras empresas en aplicar este concepto fue Facebook[2], que gracias a estas tecnologías pudo abrir el acceso a sus datos a todas las personas que trabajan en la compañía. Cualquier persona puede tener acceso a los datos generados y puede analizarlos. De esta manera, además de multiplicar el número de analistas de datos, los análisis se acercaban más a las necesidades de negocio. Para ello crearon Presto[3], una herramienta que puede acceder a distintas fuentes de datos (Hive, Cassandra, distintas RDBM) y cruzar estos datos entre ellos. Alrededor de 1.000 empleados de Facebook usan diariamente esta herramienta lanzando más de 30.000 consultas. Esta herramienta fue liberada por la empresa y a día de hoy se utiliza en otras compañías, como Dropbox.

Escalando el conocimiento

AirBNB es también un ejemplo del uso de esta práctica[4]. Debido a su necesidad de escalar la habilidad de toma de decisiones basada en datos, vieron que no era suficiente con el equipo de data scientists, y que este no crecería a la velocidad que necesitaba la empresa.

Por eso, el equipo de datos tomó las siguientes responsabilidades:

Escalar la habilidad de tomar decisiones usando datos
Democratizar el acceso a los datos a todos los empleados
Dar las herramientas para hacer experimentos a partir de estos datos, y revisar el resultado

Para solucionarlo, definieron una estrategia de Escalado de Decisiones:

Decision Scale at AirBnb

Crearon herramientas como Airpal[5] que se ejecuta sobre Presto para acceder a los datos o AirFlow[6], una herramienta para gestionar los flujos de ejecución de los trabajos que ejecutan cíclicamente para el procesado de los datos. Con esto eliminaban la limitación de depender de los equipos especialistas en el acceso a datos, que suele ser cuello de botella. También invirtieron en formación a todos los equipos sobre el uso de estas herramientas, el acceso a los datos y cómo tratarlos. Y finalmente desarrollaron herramientas para que los usuarios internos pudiesen entender el funcionamiento de algoritmos más complejos utilizados por el equipo especializado.

Facilidad en la exploración de los datos

La clave del éxito de la propagación del uso de esta práctica es la reducción de las barreras tecnológicas. Si queremos que cualquier persona de la compañía tenga acceso a estos datos, hemos de dar herramientas sencillas en su uso. Por eso, han surgido empresas como DataMeer[7] que proveen de herramientas para este análisis. Excel ha sido desde siempre la herramienta por defecto para la exploración de datos para perfiles no técnicos y Datameer parte de esta base para crear una herramienta parecida, pero con las siguientes ventajas:

Es una herramienta online, por lo que la información queda centralizada y todo el mundo tiene acceso a los mismos documentos, no copias locales de estos.
Conecta a distintas fuentes de datos (ficheros, webservices, bases de datos) y de distinto tipo (bases de datos relacionales, plataformas bigdata, etc.)

Además, añade herramientas para la exploración visual de datos, fáciles de usa, para poder detectar patrones, excepciones o evoluciones que han pasado desapercibidas.

Poco a poco, las empresas están aprovechando las ventajas de las nuevas tecnologías para aportar valor añadido a sus áreas de negocio. El análisis de datos es uno de los pilares actuales para mejorar tanto el funcionamiento interno el servicio al cliente. Y la estrategia de democratizar el acceso a los datos es una línea que busca escalar y ampliar esta capacidad a toda la compañía.