BIG DATA y OPEN DATA

Big Data y Open Data son dos grandes corrientes tecnológicas y también de pensamiento que están llegando a todo el mundo y que se integran dentro del movimiento de cloud computing.
Recalcar que ahora hay iniciativas nacionales de gran número de países o de organizaciones y empresas que cada día se están introduciendo en los grandes modelos de “grandes datos” y “datos abiertos”, y las estrategias a seguir para la entrada en estos modelos, por otra parte, al igual que la “nube”, inaplazables. Analizamos también en el capítulo la evolución del universo digital de datos almacenados en el mundo desde los enfoques de Big Data y Open Data.

En 2006, la cantidad de información digital creada, capturada y guardada (replicated) era de 161 exabytes (una información 3 millones de veces la información contenida en todos los libros escritos hasta esa fecha.
Entre 2006 y 2010 la información que se añadirá anualmente al universo digital se incrementaría desde 161 exabytes a 988 exabytes.
DC predecía que en 2010, casi el 70% del universo digital sería creado por los individuos y que la seguridad de la información y la protección de la privacidad serían uno de los temas más preocupantes.
Estos números comenzaban a ser astronómicos y difíciles de imaginar por una mente humana; pero si sorprendentes son los datos, mucho más lo era el hecho que destacaba el informe de que la cantidad de datos se duplica aproximadamente cada cinco años. En el año 2007 incluso crecía más rápido la cantidad de datos almacenada, del orden del 60 por ciento.

En este informe se dedica especial atención a la Nube y se proporciona información relevante al modelo Cloud Computing. Se prevé que en el año 2020 una parte muy importante del Universo Digital estará hospedada, gestionada o almacenada en depósitos (repositorios) públicos o privados que se denominan “servicios de la nube”; incluso se vaticinaba que si un byte del Universo Digital no vive en la nube de modo permanente, a lo largo de su vida de una u otra forma pasará por la nube.

En 2009 y por tercer año consecutivo IDC volvió a publicar el informe del Universo Digital. En esta edición, la cifra almacenada en el año 2008 llegó a los 487 de exabytes y daba como dato anecdótico que esta cantidad era el equivalente a 30.000 millones de iPod Touch o 10.000 millones de discos BluRay totalmente cargados, o 162 billones de fotos digitales. Ya en este informe comenzaban a darse datos del impacto de Twitter y otras redes sociales.
El año 2009, pese a los datos de recesión global, el conjunto del Universo Digital creció en un 62%, casi 800.000 Petabytes. Un dibujo de una fila de discos DVD iría de la Tierra a la Luna y regresaría. • El crecimiento previsible para el año 2010 alcanzaría la cifra de 1,2 millones de Petabytes, o sea 1,2 Zettabytes (una unidad de medida hasta ese momento nunca utilizada). • Este crecimiento explosivo significaba que en 2020 el Universo Digital sería 44 veces más grande que en 2009 (la fila de DVD, ahora podría llegar a la mitad del camino a Marte).

El movimiento de datos abiertos (Open Data) comenzó su explosión en el año 2010 y continúa creciendo a pasos agigantados, sobre todo por el apoyo ofrecido por el gobierno de los Estados Unidos (data.gov), en Europa, el gobierno de Gran Bretaña (data.gov.gb), en la Unión Europea (ec.europa.eu) y en España con numerosos gobiernos autonómicos (regionales), Euskadi, Asturias, Cataluña, Navarra, entre otros, y ciudades como la milenaria Córdoba. En América Latina, aunque de un modo más lento, también se están poniendo en marcha iniciativas de Open Data (Perú y Uruguay).
En la práctica Open Data es la puesta a la disposición de la sociedad de manera libre de gran cantidad de datos procedentes de diferentes organizaciones, fundamentalmente del ámbito de la administración pública o de aquellos proyectos que han sido financiados con dinero público o creado por una institución pública

La prestigiosa revista económica The Economist dedicó en 2010 un suplemento especial al mundo de los Datos7 en que destacaba en su portada: “Datos en todas partes”, y cómo la información ha evolucionado desde la escasez a la superabundancia, lo que conduce a nuevos grandes beneficios, pero también a grandes preocupaciones o dolores de cabeza, según señala en su primer artículo Kenneth Cukier.
Algunos datos con los que se inicia el informe mencionan algunas cifras astronómicas de información que se podían encontrar en la Tierra en las fechas de publicación. Wal-Mart, el gigante de los grandes almacenes de los Estados Unidos, manipula más de 2,5 Petabytes, el equivalente de 167 veces los libros de la Biblioteca del Congreso de América (America´s Library Congress); la red social Facebook aloja 40.000 millones de fotografías y la decodificación del genoma humana implicaba el análisis de 3.000 millones de pares básicos, que tardan 10 años en recolectarse la primera vez que se hizo en 2003, y que hoy se pueden conseguir en una semana.

Bases de datos, listas, estudios, informes, estadísticas, etc., son datos abiertos (open data), generan datos normalmente en formatos propios que son de difícil acceso para la mayoría de los ciudadanos. Entre otros datos se encuentran oportunidades laborales, recursos, trípticos, incidencias de tráfico, horarios de oficinas, centros de salud, etc., que son fácilmente aprovechables y generan valor añadido a profesionales y empresas que les den un formato adecuado y visibilidad.

La investigación de IDC muestra que el universo digital, es decir, la información que se crea, captura o replica de manera digital, llegaba en 2007 a 281 exabytes y en 2011 el volumen de información digital que se produciría durante el año debiera ser prácticamente de 1.800 exabytes (1,8 zetabytes), es decir 10 veces lo que se produjo en 2006, que se calculó en 180 exabytes.

IDC y EMC continúan con sus estudios sobre almacenamiento digital y el último informe, “El Universo Digital” de 2011, se presentó el 28 de junio con un nuevo título “2011 Digital Universe Study: Extracting Value from Chaos”
Las conclusiones más sobresalientes se refieren al hecho de que el volumen de información continúa creciendo a una velocidad espectacular y este crecimiento y los “big data” están transformando todos los aspectos de los negocios y de la sociedad, y controlando los cambios económicos, científicos, tecnológicos y sociales que se están produciendo.
Otros aspectos importantes que destaca el estudio se refiere a que la información del mundo se duplica cada dos años y que en 2011 se crearían 1.8 zettabytes, creciendo de un modo más rápido que la conocida Ley de Moore. Las empresas manejarán 50 veces más datos y la cantidad de archivos será 75 veces mayor en la próxima década. Estos datos impulsan oportunidades para los Big Data y nuevas funciones de TI.

The Economist publicó el 26 de mayo de 20112 y en su reputada sección Schumpeter un excelente artículo sobre Big Data en donde se resalta que la revolución de los datos estaba cambiando el paisaje de los negocios. El último año (2010), señala The Economist, las personas habían almacenado datos suficientes para rellenar 60.000 Bibliotecas del Congreso de los Estados Unidos. Los 4 mil millones de usuarios de teléfonos celulares (móviles) (12% de los cuales poseían teléfonos inteligentes) se habían convertido por sí solos en flujos de datos. YouTube, por ejemplo, recibía 24 horas de video cada minuto.
Las compañías están acumulando los perfiles de datos de sus clientes para toma de decisiones.
Desde el punto de vista tecnológico y dado que toda esta inmensidad de datos residirá en centros de datos, cada día más en la nube pública, privada o híbrida (o comunitaria, como también considera el NIST) se necesitarán herramientas que faciliten la toma de decisiones para manejar esta enorme cantidad de datos, casi el 90% no estructurado como EMC/IDC recoge en el último estudio del Universo Digital de 2011