• Internet de las Cosas

    Un mundo nuevo realmente interconectado, eso es lo que representa el IdC en nuestro futuro

    Leer mas
  • Seguridad de Información

    De verdad crees que por no ser famoso o tener una empresa pequeña, no estas expuesto? Te invito a evitar descubrir lo contrario de forma desagradable

    Leer mas
  • Tendencias Tecnologicas 2015

    Enterate de las tendencias tecnologicas para el 2015, que nos depara el futuro, como afecta nuestra forma de trabajar, de vivir, de relacionarnos

    Leer mas
Mostrando las entradas con la etiqueta BigData. Mostrar todas las entradas
Mostrando las entradas con la etiqueta BigData. Mostrar todas las entradas

jueves, 19 de febrero de 2015

Los fabricantes de Big Data crean una plataforma común de Hadoop

Las Plataformas de Datos Abiertas buscan brindar compatibilidad entre las diferentes versiones de Hadoop


By Joab Jackson
IDG News Service

Los principales fabricantes de soluciones de Big Data se han unido para especificar una plataforma de código abierto unificada para el software de procesamiento de datos Hadoop.

La Plataforma de Datos Abierta deberá identificar  las versiones específicas de Apache Hadoop y su software de apoyo, que se ejecutaran en conjunto y como un todo, lo que podría reducir el trabajo necesario por parte de las empresas para construir y mantener los sistemas de análisis de datos basadas en Hadoop.

“En la medida que las empresas reconocen el valor que Apache Hadoop aporta al negocio, en esa medida crece la necesidad de realizar pruebas rigurosas, consistentes y bien definidas del ecosistema” Raymie Stata, CEO de Altiscale.

El código base de Hadoop is manejado por la Fundación Apache Software. Tal como el kernel del sistema operativo Linux, Hadoop es empaquetado por múltiples fabricantes dentro de distribuciones comerciales y no todas son compatibles entre ellas. Adicionalmente existen una serie de programas Hadoop colindantes, como Hive, Ambari y ZooKeeper, lo cual implica un gran trabajo de integración con Hadoop.

Creando un base común para las librerías de Hadoop, la Plataforma de Datos Abierta agilizara el proceso de entendimiento sobre que tecnologías y que versiones de estas tecnologías pueden ser utilizadas entre sí sin problemas. Luego las organizaciones podrán integrar más fácilmente el software en sus sistemas de Hadoop, mezclando y comparando diferentes componentes de Hadoop de diferentes fabricantes.

Algunos de los fabricantes que han firmado esta iniciativa son: General Electric, Infosys, SAS, Altiscale, Capgemini, CenturyLink, EMC, Splunk, Verizon Enterprise Solutions, Teradata, VMware, IBM, Hortonworks y Pivotal.


10 Predicciones en Ciencia de Datos para el 2015

Estas son predicciones publicadas por el Instituto Internacional de Analítica (IIA). Han generado una infografía bien interesante la cual ha sido compartida en twitter bajo el hash tag #2015Analytics.
  1. Las organizaciones tendrán más claro los roles para el CAO (Director de Aplicaciones) y el CDO (Director de Datos) así como la forma en la que encajan dentro de la estructura organizacional.
  2. El nuevo trabajo en Analítica será el Storytelling.
  3. Un conjunto de métodos para Modelos de Analítica crecerán en popularidad.
  4. El uso de la Analítica para la prevención de la violación de la seguridad global.
  5. Veremos el surgimiento de “La Analítica de las Cosas”.
  6. Las empresas duplicaran su inversión en la generación de nuevos datos.
  7. Hadoop fortalecerá su dominio.
  8. Las demandas por privacidad generaran una lluvia de herramientas y servicios que le permitan a los clientes determinar cómo son compartidos sus datos y a qué precio.
  9. La Analítica, el Aprendizaje de Máquinas y la Computación Cognitiva tomar el control de los puestos de trabajo.
  10. La toma de decisiones automatizadas tomar un gran auge en 2015.

Veinte Tendencias del Internet de las Cosas para el 2015


IBM IoT Foundation trial
El internet de las Cosas (IoT) está en una etapa de adopción muy similar a lo que vimos entre 2008 y 2010 con el Cloud Computing y entre 2011 y 2013 en torno al Big Data. Estas dos tendencias ya están bien definidas y las organizaciones están implementando aplicaciones de misión crítica que utilizan estas tecnologías. En 2015 seguramente veremos un incremento entorno al IoT, así como veremos empresas que tomaran la iniciativa e implementaran soluciones IoT innovadoras que les permitan incrementar su eficiencia operativa, mejorar la experiencia de sus clientes e impulsar la innovación.


En 2015 veremos las siguientes tendencias:
  1. Seguridad y Privacidad: La confianza y la autenticación se vuelven críticos en todos los elementos IoT, incluyendo los dispositivos, las redes, la nube y aplicaciones de software.
  2. Estándares: La lucha entre estándares de código abierto y propietarios continuara, veremos avances en ambos lados.
  3. Hardware: La aparición de nuevas y Avanzadas Tecnologias en Microcontroladores, Chips y Sensores facilitaran la aparición de nuevos tipos de dispositivos IoT. Estos dispositivos serán más pequeños, inteligentes y económicos.
  4. Software: Se espera una gran actividad ya que los desarrolladores se enfocaran mucho más en la entrega de aplicaciones y/o soluciones que permitan la carga de datos desde los sensores, así como efectuar el análisis necesario para tomar decisiones de negocio.
  5. Análisis de Borde: Cada vez más las capacidades analíticas serán empujadas hacia al borde de las redes. Se necesitara un análisis avanzado y cuadros de mando para proporcionar información de todas las “Cosas”.
  6. Automatización Maquina-a-Maquina (M2M): En el futuro cercano, sensores, dispositivos y todos los sistemas IoT hablaran entre ellos, proporcionando información y tomando decisiones sin intervención humana.
  7. Integración Plataforma-a-Plataforma: Muchos sistemas desarrollados en Plataformas Cerradas se moverán hacia Plataforma IoT Abiertas que soporten múltiples aplicaciones, dispositivos y redes.
  8. Prendas y Accesorios: Este es un segmento clave dentro del mercado global del IoT. Debemos observar con cuidado los desarrollos de Sistemas en Chips, concentradores de sensores, fusión de sensores, conectividad inalámbrica de bajo consumo, durabilidad de las baterías y los desarrollos de programas especializados que puedan recolectar los datos generados por las prendas y accesorios.
  9. Fusión de Sensores: La combinación de datos de diferentes fuentes puede ayudar a mejorar la precisión. Analizar datos de dos sensores puede ser mejor que analizar datos de uno solo y los datos de múltiples sensores pueden ser mucho mejor aún.
  10. Concentradores de Sensores: Cada vez más se hacen experimentos con estos Concentradores para dispositivos IoT, los cuales se utilizaran para descargar tareas del procesador de aplicaciones, reduciendo el consumo de energía y mejorar la vida útil de la batería en los dispositivos.
  11. Big Data: “Cosas” (sensores, chips, computadoras) producirán más datos de los que tenemos ahora, agotando los recursos de nuestros sistemas de gestión empresarial.
  12. Blockchain: Utilizando la tecnología Blockchain, los desarrolladores pueden crear un modelo distribuido que no requiere confiar en cada nodo de la red.
  13. Casos de Éxito: Para pasar a una etapa de adopción masiva, los fabricantes deben proporcionar estudios que demuestren a los clientes casos de éxito de las mejoras obtenidas en las implementaciones de sistemas IoT, así como los beneficios que pueden esperar las empresas con su adopción.
  14. Gerente de IoT: Se espera que la estrategia IoT dentro de las empresas sea manejada por ejecutivos de alto rango.
  15. Transformación de Procesos de Negocio: Con la adopción del IoT se habilitan sistemas con capacidades de Detención y Respuesta Automática, lo cual altera los procesos tradicionales y genera la necesidad de nuevas habilidades.
  16. Educación: Se presentara un aumento en la demanda de educación y capacitación en relación a sistemas IoT, como desarrollar aplicaciones, ponerlas en práctica y qué hacer con los datos recogidos.
  17. Diseño de Productos: Los consumidores esperan cada vez más productos que vengan con sensores incorporados, que les permitan conectarse a sus equipos móviles y sistemas IoT.
  18. Ancho de Banda de Red: A medida que aumenta la cantidad de dispositivos en línea, las redes comenzaran a colapsarse y obstruir el desarrollo de la tecnología, lo cual colocara a los proveedores en una batalla sin fin para aumentar la capacidad de sus redes.
  19. Nubes Verticales: La mejor forma de capturar, archivar y analizar el gran volumen de datos que suponen todos estos dispositivos conectados en línea será mediante el uso de la Nube. En 2015, se esperan servicios de Nube especializados por verticales para IoT.
  20. Asociaciones Estratégicas: Los Fabricantes tradicionales de Tecnología tomaran acciones concretas y aceleradas para firmar asociaciones estratégicas con proveedores globales de Telecomunicaciones, fabricantes de semiconductores y proveedores verticales de plataformas IoT.

Como podemos observar muchas cosas sucederán entorno al Internet de las Cosas durante el 2015. En IBM consideran que el Internet de las Cosas es una fuerza emergente y disruptiva que integra dispositivos, datos, conexiones, procesos y personas.

jueves, 8 de enero de 2015

Analizando el Internet de las Cosas - Primera Parte


Hoy día son muchos los medios de comunicación que le prestan atención al Internet de las Cosas y existe muchas publicaciones en las redes sociales sobre esta tendencia. La mayoría de las empresas con visión de futuro ya están buscando la forma de aportar valor a sus productos utilizando el IoT, los medios y analistas están revelando análisis donde hablan de un mercado de miles de millones de dólares, un ejemplo de esto es el análisis de Gartner donde proyecta ventas por más de 300 mil millones de dólares para el 2020.

Hablamos de números muy grandes, con lo cual se están haciendo inversiones importantes para desarrollar tecnologías entorno al IoT, muchas empresas fabricantes de chips apuntan a generar mil millones de ingreso con soluciones basadas en IoT. El IoT es un habilitador con lo cual al momento de su despegue será necesario aumentar la producción de chips, se va a requerir más energía (baterías) y más datos serán movilizados entre redes (big data).

Un plan es tan bueno como lo es su ejecución, con lo cual el éxito del IoT va a depender de cómo se implemente, así que en este análisis haremos foco en lo que se requiere para construir un sistema IoT, cuales son los principales retos para el crecimiento desde la perspectiva de la ingeniería, haciendo un paneo desde abajo hacia arriba, dejando de lado los números.

¿Cómo puedo construir un ecosistema IoT? ¿Cuáles son mis opciones?, estas son algunas de las preguntas que intentaremos contestar, ya que el IoT es mucho más que darle la facultad de conexión a dispositivos que no la tienen, de echo esa sería la parte más fácil, ya que muchos de los retos ya han sido resueltos por grandes investigadores e ingenieros que nos han colocado una amplia gama de opciones de hardware y software a disposición. Antes de continuar revisemos las funciones macro de un ecosistema para IoT, el cual está comprendido básicamente por cuatro funciones:


1. Medir:
Los dispositivos IoT deben medir cosas importantes como el nivel de contaminación del aire, la temperatura del congelador, la ubicación GPS de un envió o el consumo de electricidad dentro de los hogares. La medición y detección requieren de equipos especializados y con suficiente inteligencia para filtrar el ruido de la señal. Los sensores también son acompañados por actuadores responsables de completar el ciclo de retroalimentación y de aquí se desprenden tres puntos importantes a considerar.

1.1. Hardware:
Normalmente un sistema IoT está conformado por sensores que producen tensión (voltaje), más sensores inteligentes que pueden hablar por Puertos Seriales o SPI. En líneas generales un SoC recopila los datos de los sensores y filtra la información. Un SoC es un chip especializado que contiene la mayoría de los componentes necesarios (CPU, Memoria, Temporizadores, Periféricos, etc) lo cual implica una reducción importante en los costos. La selección del SoC estará basada en el presupuesto, disponibilidad y la inteligencia que queramos darle a nuestro dispositivo.

1.2. Software
SI su solución está basada en un microprocesador muy pequeño es probable que no tenga muchas opciones, pero si el hardware permite elegir el sistema operativo entonces la solución seguro será basada en Linux. Con Linux los tiempos de desarrollo pueden verse considerablemente reducidos, ya que por ejemplo muchos fabricantes de semiconductores publican sus contribuciones a esta comunidad al mismo tiempo que liberan nuevos chips. Software y Hardware van de la mano y nadie está dispuesto a comprar un SoC a menos que la marca tenga el software que lo soporte. Otros competidores en este rubro son Contiki y Mbed OS, entre otros.

1.3. Energía
Durante el proceso de diseño de un sistema IoT, el presupuesto de energía debería ser el primer paso. Cuando hablamos de dispositivos IoT pensados para ser conectados a una toma eléctrica la Energía no es una preocupación, sin embargo cuando el dispositivo es desarrollado para estar en el campo se convierte en uno de los criterios más importantes para el hardware y las funciones que podrán ser agregadas.
Disipación de energía y funciones de reposo serán criterios claves para la selección del SoC, cuando los dispositivos requieren mucha energía se podrían utilizar opciones de baterías recargables, donde se pueden utilizar múltiples métodos como Solar/Eólico/Movimiento Mecánico.


El uso de comunicación inalámbrica también es un factor clave en el consumo de energía, la fuerza de la señal y el alcance también serán limitados por la cantidad de energía que se pueda designar para esta función, en la gráfica que sigue a continuación dejamos un estimado de consumo por tipo de tecnología de comunicación.



martes, 30 de diciembre de 2014

Big Data Monetización, Seguridad, Privacidad y Confianza


Los datos son muy valiosos, cada día es mayor la cantidad de empresas que confían en sus datos para tomar las mejores decisiones de negocio y predecir el futuro, el análisis en tiempo real permite agregar valor al negocio con lo cual las empresas recogen más datos, más rápido y de más fuentes que nunca, siendo el punto de partida para la aparición de Big Data y el Internet de las Cosas.

Estos grandes volúmenes de datos también tienen un valor directo significativo a ser monetizado, mediante la venta a terceros de estos datos de forma total o parcial, se estima que para el 2016 se duplicara el porcentaje de empresas que buscaran obtener ganancias sobre sus datos y muchos de esos datos son relacionados con sus clientes (Privacidad).
Es importante tener en cuenta que el daño causado por el robo de identidad es mucho más severo que el causado por el robo de una tarjeta de crédito, ya que no se puede emitir una nueva identidad, con lo cual el seguro de salud, los créditos y el estatus legal de cada individuo estarán en peligro.

Con todos estos datos y el valor que representan, cobra mucho sentido que los hackers se esfuercen mucho más para robarlos, la verdadera pregunta es ¿Cómo proteger esos datos de amenazas cada vez más persistentes e inteligentes, preservando el valor para la empresa?

Para proteger estos datos y al mismo tiempo preservar su valor, es necesario protegerlos de forma granular y al más bajo nivel posible, por ejemplo asegurar campos de forma individual permite una gran flexibilidad en la protección de campos sensitivos, mientras que los campos que no contienen información personal se mantienen de forma legible. Proteger esta información representa un reto por sí solo, pero monetizar los datos significa enviarlos a otras organizaciones con sus propios perfiles de seguridad, anonimizar los datos no es viable cuando buscamos obtener dinero por ellos, pero desvincularlos de la información más sensible (ej. Nombre, número de identificación, fechas de nacimiento) es vital para proteger la privacidad de los individuos, con lo cual debemos utilizar otros métodos de protección como tokenizar (sustituir elementos de datos importantes con elementos no importantes), permitiendo preservar la longitud y el tipo de dato. Con este tipo de técnicas haremos que esos datos sean inutilizables para que otros ejecuten procesos de análisis, mientras que ayudamos a proteger la privacidad de los individuos.

Es poco probable que evitemos por completo el robo de datos, pero si podemos lograr que sea un proceso muy difícil, que estos sean inútiles o que el daño que se logre con ellos sea mínimo. Proteger los datos de forma granular, a nivel de campos o parte de ellos, nos permite continuar disfrutando de los beneficios de la monetización mientras que colocamos una enorme barrera de prevención en el robo de identidades.


miércoles, 10 de diciembre de 2014

¿Cómo se puede analizar la trasmisión de datos en IoT?


Es crucial para el éxito del IoT disponer de herramientas que permitan hacer análisis de los datos generados por los dispositivos y convertir esos datos en información que aporte conocimiento y que sea realmente útil, pero ¿Cómo analizamos los datos mientras fluyen sin parar desde los dispositivos y sensores? ¿Qué tan diferente es el proceso de análisis de estos datos con respecto a otros tipos de datos?

En un análisis tradicional, los datos se almacenan y después se analizan, ahora vamos a requerir almacenar los modelos y los algoritmos para luego pasar los datos atreves de ellos en búsqueda de un análisis, de esa forma podremos examinar los patrones de interés en tiempo real. Entonces, los datos son procesados antes de ser almacenados en la nube o en un repositorio de alto rendimiento, posteriormente se utiliza la analítica para descifrar esos datos, mientras los dispositivos siguen emitiendo y recibiendo datos.

Con las técnicas de analítica avanzada que tenemos disponibles hoy en día, el análisis de los flujos de datos permite ir más allá del monitoreo de condiciones existentes o la evaluación de umbrales a un ambiente de predicción de escenarios futuros. Para evaluar el futuro utilizando estos flujos de datos, necesitamos tecnologías de alto rendimiento que puedan detectar patrones en los datos en el mismo instante que ocurren y una vez que el patrón es reconocido, se deberán aplicar ajustes automáticos en los sistemas conectados, se iniciaran alertas para acciones inmediatas o la toma de decisiones.

En esencia, esto significa que puede ir más allá de evaluar condiciones de control y umbrales, para moverse a la evaluación de eventos futuros probables y la planificación de un sin número de escenarios hipotéticos.