Big Data?

Big Data

Es necesario? Como utilizarlo?

Todos oímos últimamente esta palabreja sin saber exactamente que significa realmente, pero lo que mas sorprende es que nos lo vendan como algo nuevo. Google lleva utilizando el "Big data" desde que comenzaron a tocar de puerta en puerta buscando financiación, y de eso hace mas de 10 años. Otras empresas también lo utilizaban mucho antes. Así que por qué ahora?

Antes la información se borraba ya que no había espacio suficiente y el coste de almacenamiento era caro. Hoy en día cualquier usuario domestico tiene discos duros de varios Terabytes, mucho mas que algunas empresas de comienzo de siglo. A medida que se iba abaratando el coste de almacenar la información se borraba menos información. Y en cuanto detectaron que almacenando una gran cantidad de información en el tiempo era posible predecir tendencias de comportamiento se hizo cada vez mas interesante. Pero esto ya lo sabia Google.

Olvidando a Google, tenemos otros ejemplos mas recientes como Samsung que lo utiliza en su motor de recomendación de contenidos en sus nuevas televisiones inteligentes o "smart TV". Las compañias de seguros también comienza a usarlo para determinar el perfil de riesgo de los conductores y decidir el precio.

Un estudio reciente de Bain & Company muestra que las empresas que antes adoptaron el uso de análisis de Big Data se han convertido en las empresas lideres en sus respectivos sectores. Del estudio se traduce que estas empresas lideres son:

• Tienen dos veces más probabilidades de estar en el cuartil superior en lo que a resultados financieros se refiere en sus respectivas industrias.
• Son cinco veces mas rápidos en tomar decisiones que sus competidores
• Tienen tres veces mas de probabilidad de ejecutar las decisiones que tenian previstas
• El doble de probabilidades de usar los datos correctamente en la toma de decisiones.

Esta es razón suficiente para que las empresas competidoras se suban al carro del "Big Data",  o se actualizan o mueren. Y para estar dentro las empresas necesitan 4 patas para sustentar la "mesa de los resultados":

• 1ª pata: son los datos mismos, grandes cantidades de datos (aunque no siempre sea necesario)
• 2ª pata: herramientas de análisis avanzado como Hadoop y NoSQL 
• 3ª pata: personal capaz de usar estas herramientas. Lo que nos lleva a la 4ª pata
• 4ª pata: Experiencia, quizas la mas importante de las 3 ya que para obtener información precisa o de valor es necesario un equipo humano con conocimientos del negocio de la compañia, de las herramientas, de las leyes de protección, etc.

Sin embargo estos pilares no servirán de nada si la empresa no utiliza la información proporcionada o no llega a las personas adecuadas. Llevo muchos años trabajando para grandes corporaciones y si las imaginamos como un cuerpo humano podemos decir que el brazo izquierdo no sabe lo que hace el derecho y en la mayoría de los casos ni siquiera los dedos. Muchas se limitan a crear una intranet con la información pero no hay tiempo para leer o no saben donde ha sido colocada la información o es demasiada. Al final se queda en nada.

Los grandes lideres en análisis lo tienen claro, el exito del Big Data debe ser introducido de una forma profunda dentro de la organización.

La definición de "Big Data" que mas me gusta es la de la metodologia MIKE 2.0

Se define como "Big data" a los conjuntos de datos de pequeño o gran tamaño con un alto grado de complejidad y permutaciones posibles en los que el valor de la información que se puede extraer deriva de innovadoras técnicas de análisis. El termino "Big" se refiere no solo al tamaño sino a la complejidad de la información y la forma de sacar partido de ella.

Efectivamente, el "Big data" es como un iceberg de datos. Solo vemos los datos de la superficie, pero para ver el resto debemos "bucear".

El concepto Big Data está viviendo su edad de oro. Cómo gestionar y explotar las bases de datos internas, la información de los usuarios/clientes es vital para las empresas que aspiran a no quedarse atrás en la competición y según Viktor Mayer-Schönberger, profesor de regulación y gestión de internet en el Internet Institut de la Universidad de Oxford y uno de los expertos más reconocidos de datos masivos, el Big data ha sido la causa del éxito de compañías como Facebook, Gmail, Netflix o Amazon:

Google no existiría sin los datos masivos, tampoco Facebook. Amazon supuestamente ha obtenido un tercio de sus ganancias de productos que la gente compra por el sistema de recomendaciones, que no es otra cosa que Big Data.

Es Necesario?

Si, desde luego. Es más, siempre debe serlo. El conocimiento obtenido a través de los datos permitirá a las grandes empresas y en general a cualquier servicio publico o privado ofrecernos una mejora sustancial de nuestros deseos. El futuro de la televisión pasa por el "Big data". La publicidad se ofrecerá directamente en la televisión en función del perfil del usuario y quien tenga la información de ese perfil será la empresa ganadora, y de momento es Google. Por qué todavía no lo pueden hacer? Porque solo es viable en sistemas con conexión a internet, o lo que es lo mismo, cuando al entrar en la televisión lo hagamos con un perfil de usuario, igual que si fuera un navegador.

Como utilizarlo?

Ya hemos comentado los 4 pilares o patas, pero también es necesario tener una idea del resultado que pretendemos, así que eso depende de si se espera una respuesta inmediata por parte de la empresa o puede ser para hacer una oferta global. El primer caso seria por ejemplo al pedir el precio de un perfume, el sistema deberá evaluar si eres hombre o mujer, edad, ingresos, etc. Como es posible saber los ingresos? No es necesario, basta saber que has comprado otras veces, búsquedas por precio desechadas, y por supuesto, el sexo y la edad influye. Los hombres ganan más que las mujeres (lo siento pero es la estadística) y los mayores ganan mas que los jóvenes.

En cualquier caso es necesaria la acumulación de datos, cuantos mas datos mejor. Si queremos saber cuantos hombres compran frente a mujeres será necesario inferir esa información de alguna forma, ya sea con un usuario registrado y preguntando su sexo a la hora de registrarse o analizando los productos comprados, solo que en este caso se pierde calidad de la información. Un ordenador es comprado por ambos sexos y aunque podemos imaginar por el modelo a que sexo pertenece no es posible afirmarlo.

Así pues es necesario saber a priori cual es la estrategia de la empresa, aunque a partir del análisis de la información podamos encontrar nuevos nichos de mercado.

Instrumento de control o ayuda a la toma de decisiones?

Teri Morse, vicepresidenta de contratación de Xerox, y responsable de los centros de atención al cliente que la empresa tiene en EEUU y que dan trabajo a 45.000 trabajadores, cuenta como hasta 2010 seguían un proceso de selección estándar a través de entrevistas. A partir de entonces, Xerox cambió el sistema, pasando a una evaluación "on line" que añadía pruebas de personalidad, habilidad y evaluación cognitiva. Una vez realizados los test, un algoritmo se encargaba de analizar las respuestas junto con información objetiva obtenida de la solicitud del candidato, y emitía un veredicto que tenía en cuenta nuevos criterios de valoración. Con este nuevo método de contratación Xerox mejoró el ratio de abandono del trabajador.

El problema, contaba, ocurre cuando los gerentes ya no quieren realizar entrevistas y lo dejan todo en manos del sistema experto creado. 

Hay que recordar que del "Big data" se obtiene información para realizar acciones ya sea de forma manual o a través de un sistema experto creado en base a los datos aportados. 

Y este si puede ser el gran problema de los big data, los sistemas expertos que se convierten en un instrumento que cambia nuestra forma de pensar, que sustituye un sistema por otro más barato, y que no es tomado como una ayuda para la toma de decisiones sino como la herramienta que toma las decisiones. Sustituye la posibilidad empírica por la probabilidad matemática y el saber humano por algoritmos basados en datos previos.

Es fiable tomar decisiones basándonos en la simple correlación? La preocupación habitual es la que señala que serán los ordenadores los que tomen las decisiones, lo cual nos aterra. ¿Confiaríamos en el sistema de salud si en lugar de un médico nos prescribiera las medicinas una máquina? Quienes apoyan el mundo de los big data señalan que eso son miedos atávicos, ya que si se puede llegar a mejores análisis a través de los big data haríamos mal en no tomarlos en consideración.

Los sistemas expertos basados "big data" son muy útiles y lo seguirán siendo y en el futuro aún mas. Los algoritmos decidirán lo mejor para nosotros en el futuro. ¿Suena bien? Eso son los sistemas expertos basados en "big data". 

La versión actual del anillo de poder de Sauron "Un anillo para controlarlos a todos" es en su versión nueva Matrix , y esta vez ha llegado para quedarse.