BIG DATA y OPEN DATA EL UNIVERSOS DIGITAL DE LOS DATOS

Events

LA ERA DEL PETABYTE

2007 - 2008

La era del Petabyte fue el título del artículo publicado en la prestigiosa revista Wired en 2008 y firmada por Chris Anderson, su editor.
Este artículo publica un estudio sobre la cantidad de información digital almacenada en el mundo en esas fechas.

El estudio presenta unas cifras y unos datos, ya en aquel entonces sorprendentes, en la fecha de la publicación:
1 Terabyte (TB) era el espacio equivalente a 250.000 canciones almacenadas en medios digitales.
20 Terabytes, todo el espacio ocupado por las fotos subidas (uploaded) a Facebook cada mes.
120 Terabytes, todos los datos e imágenes recogidas por el telescopio espacial
Hubble.

EL UNIVERSO DIGITAL DE EMC/ICD

2007 - 2011

La consultora tecnológica IDC Corporation (www.idc.com) publicó su primer informe de la información digital almacenada en el mundo en el año 2007 y sus predicciones decrecimiento para el año 2010.
En 2006, la cantidad de información digital creada, capturada y guardada (replicated) era de 161 exabytes (una información 3 millones de veces la información contenida en todos los libros escritos hasta esa fecha.
Entre 2006 y 2010 la información que se añadirá anualmente al universo digital se incrementaría desde 161 exabytes a 988 exabytes.
IDC predecía que en 2010, casi el 70% del universo digital sería creado por los
individuos y que la seguridad de la información y la protección de la privacidad serían uno de los temas más preocupantes.

BIG DATA

2010 - 2011

La nube se adapta a los big data (datos grandes), o dicho de otra manera, a lo largo del 2011 y en los meses sucesivos se producirá una convergencia entre el modelo de la nube (cloud) y los big data; éste ha sido el lema central de la conferencia EMC Word 2011 celebrada en Las Vegas en mayo de 2011.

Cloud Computing y Big Data son dos de los términos de impacto creciente en las tecnologías de la información y los eventos relacionados con ambos conceptos se producen de modo continuo a lo largo y ancho de todas las regiones geográficas del mundo, desde Europa a los Estados Unidos, China o Japón, pasando por América Latina y el Caribe.
Los big data constituyen el nuevo modelo de datos que se extiende a lo largo y ancho del mundo, partiendo de la base de las enormes cantidades de datos que se están creando en los últimos años.

ALGUNAS REGLAS PARA LOS BIG DATA

2010 - 2011

La privacidad es una de las mayores preocupaciones y por esta razón le hemos dedicado un capítulo completo.
Los beneficios de la seguridad de la información protección de los sistemas de cómputo y las redes de comunicación.
La retención de datos o el estado de los registros digitales requiere de normas de comportamiento que exija a los proveedores de aplicaciones, buscadores, etc.
El procesamiento de los datos es otra preocupación en la manipulación de los datos.

DATOS EN TODAS PARTES

2010

La prestigiosa revista económica The Economist dedicó en 2010 un suplemento especial al mundo de los Datos7 en que destacaba en su portada: “Datos en todas partes".
Algunos datos con los que se inicia el informe mencionan algunas cifras astronómicas de información que se podían encontrar en la Tierra en las fechas de publicación. Wal-Mart, el gigante de los grandes almacenes de los
Estados Unidos, manipula más de 2,5 Petabytes, el equivalente de 167 veces los libros de la Biblioteca del Congreso de América (America´s Library Congress); la red social Facebook aloja 40.000 millones de fotografías y la decodificación del genoma humana implicaba el análisis de 3.000 millones de pares básicos, que tardan 10 años en recolectarse la primera vez que
se hizo en 2003, y que hoy se pueden conseguir en una semana.

The Economist citando fuentes del CERN el laboratorio de física nuclear de Ginebra que genera 40 Terabytes cada segundo― de IDC (el informe ya estudiado del Universo Digital), de la Universidad de California en San Diego (UCSD), y otros, publicó la tabla 1 donde se señaló la inflación de datos que existía a principios del año 2010 y que seguiría creciendo.

OPEN DATA

2011

“El futuro social de la educación está en los datos, en la calidad de los mismos, los datos abiertos (open data), la libertad de los datos, que éstos puedan fluir para el acceso de cualquier persona y que, a su vez, puedan ser
aprovechados”. Así se expresaban los dos principales directivos de W3C (Consorcio de la W3):
Tim Berners-Lee, autor de la Web y actual Director del W3C, y Jeff Jaffe, su presidente ejecutivo. Entonces cabe preguntarse qué son Open Data (Datos abiertos) y cuáles son las iniciativas a nivel internacional que están difundiendo la iniciativa.

El movimiento de datos abiertos (Open Data) comenzó su explosión en el año 2010 y continúa creciendo a pasos agigantados, sobre todo por el apoyo ofrecido por el gobierno de los Estados Unidos (data.gov), en Europa, el gobierno de Gran Bretaña (data.gov.gb), en la Unión Europea (ec.europa.eu) y en España con numerosos gobiernos autonómicos (regionales).

Las administraciones generan multitud de información en forma de datos propios que son de difícil acceso para la mayoría de los ciudadanos; datos de diversa índole que van desde tablas estadísticas, oportunidades laborales, recursos turísticos o incidencias de tráfico y que normalmente se encuentran perdidos en las páginas web de los organismos” (Ruiz-Tapiador 2010).

LA REVOLUCIÓN DE LOS DATOS

2011

The Economist publicó el 26 de mayo de 2011 y en su reputada sección Schumpeter un excelente artículo sobre Big Data en donde se resalta que la revolución de los datos estaba cambiando el paisaje de los negocios.

La revolución de los datos está impactando en los modelos de negocios y en las industrias establecidas de modo muy importante. Empresas del sector de las ciencias de la salud utilizan programas como Google Health y Microsoft Health Value para permitir a los consumidores seguir el estado de su salud y registrar su tratamiento.

Esta revolución también está cambiando a los gobiernos. Las autoridades de gestión de los impuestos pueden controlar mejor las situaciones de desempleo u ocupación en función de los perfiles de comportamiento de los ciudadanos.

INICIATIVAS OPEN DATA

2011

Las iniciativas de Open Data en el mundo son numerosas, como se comentó anteriormente.
Los proyectos más innovadores han nacido en los Estados Unidos con la nueva administración del presidente Obama (www.data.gov), en Gran Bretaña
(www.data.gov.uk), en España a nivel regional o autonómico y local, aunque también existen iniciativas a nivel nacional como es el Proyecto Aporta dentro del Plan Avanza que desde el año 2007 viene planteando que todas las administraciones locales, autonómicas y centrales están llamadas a hacer pública la información que generan.
Estados Unidos (Data.gov)
Sin lugar a dudas el portal Data.gov es referencia obligada en el estudio de Open Data; incluye páginas relativas a Data y Apps, Communities, Open Government, Learn, Semantic Web y Developers Corner.
Reino Unido (Data.gov.uk)
El portal oficial Opening Up Government del Reino Unido es también otro modelo para el estudio de Open Data.
España
Las iniciativas en España van aumentando día a día tanto en la administración autonómica como en la local.
América Latina y el Caribe
Según el portal data.gov del gobierno federal de Estados Unidos, a finales de octubre de 2011, en América Latina y el Caribe sólo existía un país con iniciativa de Open Data.

EL UNIVERSO DIGITAL DE DATOS 2011

2011

IDC y EMC continúan con sus estudios sobre almacenamiento digital y el último informe, “El Universo Digital” de 2011, se presentó el 28 de junio con un nuevo título “2011 Digital Universe Study: Extracting Value from Chaos”.

La investigación de IDC muestra que el universo digital, es decir, la información que se crea, captura o replica de manera digital, llegaba en 2007 a 281 exabytes y en 2011 el volumen de información digital que se produciría durante el año debiera ser prácticamente de 1.800 exabytes (1,8 zetabytes), es decir 10 veces lo que se produjo en 2006, que se calculó en 180 exabytes.

Las nuevas herramientas de captura, búsqueda, detección y análisis pueden ayudar a las organizaciones a obtener conocimientos de sus datos no estructurados, lo que representa más del 90% del universo digital.

Las herramientas de inteligencia de negocios manejan cada vez más datos en tiempo real, ya sea que se trate de calcular primas de seguro basadas en dónde se conducen los vehículos, distribuir energía en redes eléctricas inteligentes o cambiar mensajes de marketing al instante según las respuestas en las redes sociales.

El estudio de 2011 refleja que mientras los dispositivos y las aplicaciones que crean o capturan información digital crecen rápidamente, también lo hacen los dispositivos que almacenan información.

Según los cálculos de IDC en 2007 todo el espacio vacío o utilizable en los discos duros, cintas, CD, DVD y memoria (volátil y no volátil) del mercado alcanzaba la cifra de 264 exabytes, muy cercana al volumen total de información creada.
Las expectativas de almacenamiento también han sido superadas y las estimaciones de
2010 han sido rebajadas en un 10%. Las razones han sido, según el estudio, básicamente tres:
Protección de la información personal
Movilidad
Efectos secundarios del almacenamiento móvil