En una de las ponencias presentadas en el Seminario Internacional de Cultura de Inteligencia celebrado el pasado noviembre en el Ecuador se generó un interesante debate sobre Big Data y la oportunidad o inconveniencia de introducir este nuevo paradigma en los asuntos de la inteligencia. Al escuchar las diferentes intervenciones, la mayoría en contra de su utilización, decidí reflexionar púbicamente sobre el tema y obtener algunas conclusiones sobre determinados aspectos del Big Data, tanto genéricos, respecto a su significado y alcance, como específicos, en su relación con la innovación y la inteligencia.

Recuerdo que en un post anterior me preguntaba si había alguien que no hablara de la Nube, comentando que en cualquier entorno donde se departa sobre la información y las tecnologías que soportan su gestión es seguro que aparece este término junto a otros cuya introducción en el discurso parece evidenciar la posesión de ciertos conocimientos o simplemente el estar “a la moda”. Este es el caso también de Big Data, vocablo que se va introduciendo paulatinamente con tanta fuerza que da origen a todo tipo de interpretaciones, en ocasiones contradictorias, superficiales o carentes de significado o valor.

¿De qué estamos hablando cuando nos referimos a este término? ¿Por qué se ha despertado ahora este interés por Big Data? ¿Se trata de una moda, y por tanto de algo pasajero, o es una necesidad actual que se incrementará en el futuro? En los siguientes párrafos y en posteriores artículos trataré de aportar respuestas a estas preguntas.

La evidente necesidad de gestionar la superabundancia de información actual ha dado lugar a una profusión de todo tipo de herramientas y metodologías, entre ellas Big Data, vocablo cuyo significado se expresa en múltiples ocasiones por medio de una traducción casi literal deduciendo que se trata de grandes volúmenes de datos, simplificación que, además de no responder a la verdadera naturaleza del término, es causa evidente de confusión y percepción inadecuada del concepto,

Big Data es algo más que una masificación de datos. Cuando a principios de siglo el Grupo Gatner publicó un trabajo de investigación identificando los retos y oportunidades que presentaba el término se comenzó a evaluar su alcance en base a tres dimensiones, conocidas como las tres V:

  • Volumen; acumulación y constante aumento de datos, origen del nombre,
  • Velocidad; en la generación, obtención y procesamiento de los datos y
  • Variedad; de orígenes, fuentes y formatos de los datos.  

Posteriormente IBM añadió una cuarta V, de Veracidad, relativa a la fiabilidad de los datos, que complementa y mejora a las anteriores al demandar un filtrado que elimine los datos brutos, dudosos o de escasa o nula calidad, ejemplo seguido por mas compañías que continúan añadiendo otras como las de Visibilidad, relativa a la facilidad de acceso a los datos  y de Valor o calidad de estos, así como más dimensiones como en el caso de SAS que agrega la Variabilidad, relativa a la inconsistencia de los flujos de datos, y la Complejidad respecto a la conexión de las relaciones, jerarquías y enlaces entre datos.

Actualmente se proponen múltiples definiciones con una total ausencia de consenso, lo cual se explica parcialmente por su rápida difusión o porque se trata de aplicar el concepto al propio sector de actividad, necesidad o expectativa. Así hay definiciones tecnológicas, de Big Data como servicio, marketing o de procesos de negocio, sin olvidar que sus relaciones con modelos como Open Data o DaaS (Data as a Service) conducen a nuevos acrónimos como el BDaaS o (Big)DaaS.

A falta de una definición precisa, analizando las de mayor relevancia o consistencia y considerando el amplio rango que abarcan las diferentes V se infiere que efectivamente Big Data no significa una inmensa acumulación de datos, ni caracteriza a una nueva herramienta de obtención o almacenamiento de grandes volúmenes de datos, del tipo datamining o datawarehouse, sino que incluye en un mismo concepto tecnologías, procesos e incluso modelos de negocio basados en la rápida gestión de una ingente cantidad de datos muy variados con objeto de obtener información de utilidad a partir de ellos y facilitar analíticamente las tareas de extracción y generación de conocimiento en apoyo a la toma de decisiones.

¿Por qué hay ahora tanto interés por Big Data? El concepto no es nuevo pues se utiliza desde hace algún tiempo si bien su popularidad ha ido incrementando progresivamente debido a la ingente cantidad de datos que se generan de forma casi instantánea cuya gestión está derivando en una misión casi imposible si no se hace uso de tecnologías y metodologías adecuadas. De ahí que algunas de ellas, como las que engloba el concepto de Big Data, hayan ido acrecentando su importancia para devenir en una necesidad de organizaciones de todo tipo y área de actuación.

Existen múltiples factores que justifican el aumento de interés por Big Data; algunos se refieren al advenimiento de las plataformas de almacenamiento distribuido en Cloud Computing que junto con el importante aumento de la velocidad de las redes ha mejorado considerablemente el problema de almacenar grandes volúmenes de datos y a menor coste.

Otros factores tienen que ver con las nuevas tecnologías de almacenamiento y procesamiento de datos a gran escala o las plataformas de código abierto que permiten el desarrollo de aplicaciones distribuidas para el análisis y gestión de cantidades enormes de datos con soluciones al alcance del público como Google Analytics o para desarrolladores como el también popular Hadoop de la Fundación Apache.

Finalmente destacar como un elemento más de interés el considerable aumento de los datos no estructurados. Hasta hace poco tiempo los datos disponibles se podían organizar de forma estructurada facilitando su gestión al utilizar bases de datos tradicionales; pero ahora, además de haber aumentado exponencialmente su disponibilidad, un gran porcentaje son no estructurados procedentes de plataformas de crowdsourcing, teléfonos móviles, redes sociales, portales, blogs, etc., cuya variedad de formatos (audio, video, HTML, XML, ,,) velocidad de adquisición y volumen demandan nuevas herramientas de almacenamiento, procesamiento y análisis.

En conclusión, el fenómeno Big Data es una realidad actual de gran importancia y visión de futuro que asimismo plantea algunas interrogantes. Es preciso acercarse al concepto de forma responsable, sin simplificaciones ni frivolidad, pues su éxito o fracaso estará unido a la capacidad de explotar de forma inteligente, no “robótica”,  la enorme cantidad de datos disponibles.

Dada tal importancia y su impacto en el ámbito de algunos temas de los que trata el blog, como la inteligencia y la innovación, dedicaré a Big Data posteriores artículos.