Skip to main content
sin un uso mesurado de los datos podrían ser nuestro talón de aquiles

Los nuevos datos, nuestro talón de aquiles?

Todos sabemos que la gran ventaja competitiva que vivimos hoy en día se soporta sobre el tener información adicional de nuestros clientes para entender su comportamiento y lograr predecir qué decisión tomará. Pero, qué pasaría si los datos que recolectamos terminan infringiendo la privacidad de las personas?

 

Los datos son materia prima para las organizaciones y su análisis un bien imprescindible, las organizaciones que logren explotar el potencial del Big Data contaran con una ventaja competitiva muy importante…pues para nadie es un secreto que conocer mejor a nuestros clientes, sus gustos y preferencia nos puede ayudar a mejorar nuestra comunicación con ellos, convirtiéndola en el mejoramiento continuo de nuestros servicios y productos, a fin de lograr una fidelización más estable y duradera.

Es por eso que antes de decidir encaminarse hacia un proyecto Big Data debemos tener claro a donde queremos llegar y cómo lo queremos lograr, debemos prestar atención a que datos vamos a necesitar recolectar? que vamos a hacer con los datos recolectados? y si en realidad vamos a necesitar todos esos datos recolectados.

Es necesario recolectar cualquier dato?

Es una de las primeras preguntas que debemos hacernos cuando nos vamos a encaminar en nuevo proyecto, mucho más si estamos pensándolo desde el punto de vista evolutivo del Business Intelligence. Recolectar por recolectar esta demás, si bien nos encontramos en una era donde los datos son los que mandan, también nos encontramos en la era donde hay que saber cuáles son los más óptimos y cómo podemos sacar provecho de ellos. De nada sirve recolectar por recolectar bancos y bancos de datos que a fin de cuenta terminen por perturbar a las personas.

Por ejemplo

Supongamos que tenemos varios puntos de ventas de nuestra línea de productos en nuestra ciudad, podríamos aprovechar la información georreferencia que generan nuestros clientes o seguidores (Muchas veces sin su consentimiento aunque cada vez más son más instruidos y capacitados de cara a la tecnología) para que cuando se encuentren cerca de alguna de nuestros puntos de ventas, les enviemos mensajes de promoción mediante mensajes directos al correo o al móvil. Esto minimiza el spam, minimiza nuestros esfuerzos por llenar de publicidad a nuestros clientes y nos permite hacer un marketing más directo y efectivo. Imagínate la sorpresa del cliente cuando unos metros antes de pasar por tu punto de venta le llegue un bono de descuento del 30% o 40% para un producto que ha consumió anteriormente o para que pruebe un nuevo producto.

Este ejemplo no está para nada lejos de la realidad, pero a nuestros clientes les gustaría la idea de que sepas en donde se encuentra? En cierta forma eso estás haciendo, estas identificando un patrón de movilidad para poder saber en qué momento pasará cerca de alguno de tus puntos de ventas, una ventaja para ti porque dispones de información que no tiene tu competencia y te limitas a hacer un marketing más directo…pero por parte del cliente queda la sensación de verse perseguido o que están violando su privacidad.

Debemos tener presente hasta qué punto debemos llegar para nuestro beneficio y el de los clientes, muchas veces por el afán de recolectar y recolectar información hacemos uso extremo de los datos y terminamos perjudicándonos nosotros mismos.

No es lo mismo saber los gustos y preferencias de nuestros clientes, que saber siempre y en cada momento en donde se encuentra.

Que debemos tener en cuenta?

Debemos identificar los datos que nos van a servir a cumplir nuestros objetivos pero al mismo tiempo minimizar el riesgo de irrumpir en la privacidad de las personas, generalmente queremos valernos dependiendo de nuestra proyección de aspectos importantes como: que se dice de nosotros en la red o cuales son los gustos o preferencia de las personas en la red, en este contexto podemos contemplar gustos, favoritos, comentarios, post, grupos sociales, sitios frecuentes, sitios que frecuenta, fotos etc. Esto nos serviría para segmentar nuestras campañas de publicidad, para impulsar productos existentes o crear nuevos productos basados en lo que se dice, algo mucho más versátil y de impacto.

Pero también podríamos querer predecir cuál será el próximo producto que consumirá el cliente en su próxima compra, si dejara de ser cliente nuestro o si por el contrario es un riesgo para nuestra proyección, que producto consumirá basado en la recomendación de un amigo o que piensa regalar en el próximo día del padre, en este caso necesitaríamos contemplar datos históricos de transacciones de compras de nuestros productos combinados con gustos y preferencias y grupos y preferencias de sus amigos o seguidores, etc.

Como ven, en los ejemplos anteriores no fue necesario en ningún momento los datos de ubicación, pues analizamos datos históricos combinados con actuales provenientes de nuevas fuentes y que en cierta forma no atentamos contra la privacidad del usuario.

Qué pasaría si se sienten amenazados?

Existen diversas acciones que pueden tomar las personas una vez sienten miedo acerca de lo que sucede con su información en la red. La primer acción será empezar minimizar y prestar muchas más atención a los datos que brinda, dejará de compartir sus gustos, preferencias, ya no publicará fotos o comentarios sobre sitios preferidos y buscará la manera de todo portal o aplicación (haciendo referencia al ejemplo anterior) su ubicación geográfica.

Esto claramente es un problema para tu organización, pues gracias al uso excesivo de los datos prácticamente terminaste perdiendo un flujo de información valioso para tu estrategia ya implementada, ahora, si tu estrategia se basada en los datos que ya han dejado de proporcionar…no se convertiría proyecto en un futuro fracaso.

Por eso y para finalizar, me gustaría mencionar algunos aspectos que podríamos tener presente antes de utilizar datos de redes sociales e internet en general para nuestro beneficio, es cierto que existen leyes que permiten salvaguardar la información personal, pero hoy por hoy que nos podemos valer de cualquier dato de los usuarios, es necesario que la utilicemos con mesura y privacidad.

Aspectos a tener en cuenta:

  • Hacer saber a nuestros clientes que tipo de datos suyos vamos a usar para generar un beneficio mutuo.
  • Hacer saber lo métodos de utilización y privacidad de datos que vamos a aplicar para mejorar nuestros programas publicitarios.
  • Si vamos a utilizar georreferenciación, enfatizar y promover su uso mediante incentivos y hacer saber su política de explotación para minimizar el miedo que esto conllevaría.
  • Dinamizar nuestros productos y hacerlo saber para recordarle al cliente que su información es valiosa y que la tenemos siempre en cuenta.
  • Ejercer participación activa en todos los medios de donde vamos a recolectar información, esto generar un voto de confían y buena imagen frente al cliente. A fin de cuenta ambas partes se van a beneficiar.

Como vemos, podemos aprovechar el Big Data para múltiples beneficios pero siempre definiendo y enfatizando la delgada línea de lo que queremos lograr, pues no nos sirve de nada recolectar datos donde una vez almacenados no nos sirvan para cumplir nuestros objetivos y más bien terminen perjudicándonos.

Haz parte de mi Newsletter
I agree to have my personal information transfered to MailChimp ( more information )
Únete y haz parte como otros visitantes que reciben semanalmente mi newsletter con noticias y artículos actualizados sobre Business Intelligence y Big Data.
Al igual que tú, no tolero el SPAM. Tu dirección de email no será compartida.

Que otro aspecto deberíamos tener en cuenta para implementar nuestro proyecto Big Data de cara a los datos recolectados de los usuarios en internet? Crees que es necesario mantener siempre informado al usuario de lo que vamos a hacer y cómo lo vamos a hacer?

Especialista en Business Intelligence con experiencia en herramientas como Pentaho, Microsoft y Microstrategy.
Inmerso en Big Data, las Nuevas Tendencias, el Futbol y la Música.

Bases-NoSQL-BigData

Bases de Datos NoSQL: Especiales para Big Data

Hoy en día nos enfrentamos a un gran cambio de paradigma en cuanto a almacenamiento y procesamiento de datos se trata, gracias a la evolución de grandes compañías como Google, Amazon, Linkedin, Facebook y muchas más, han salido a luz una seria de soluciones en modalidad Opens Source que nos benefician en gran medida.

Las Bases de Datos NoSQL tienen como principal característica que solucionan los principales problemas que presentábamos en la actualidad:

Escalamiento horizontal: Ya no necesitamos depender de un proveedor de hardware para potenciar nuestras soluciones.
Disponibilidad de los datos: Podemos distribuir en cuanto equipo y capacidad económico dispongamos si necesidad de que sean robustos.
Solución a fallas o cortes de red: Disponemos de un ecosistema interconectado el cual siempre en gran medida vamos a tener disponibilidad de los datos.

Actualmente contamos con una tecnología que mezcla una seria de características que nos ayudan en cierta parte a cubrir los aspectos anteriormente expresados, tal como lo dije, éste cambio de paradigma nos permite entre otras cosas almacenar y tratar grandes bancos de información, tener información disponible, información incluso definida geográficamente y tolerar errores por falta de conexión…éstas soluciones las conocemos como Bases de Datos NoSQL.

Un poco de historia…

El término NoSQL en cierta forma se referenció hace un buen tiempo. Inicialmente fue usado a finales de los 90’s cuando Carlo Strozzi desarrolló su propio SGBD el cual no usaba SQL, ésta base de datos almacenaba sus tablas dentro de archivos ASCCI donde cada tupla de valor era representada por un fila de campos separados por Tabs, debido a que no usaba SQL para consultar los datos, básicamente ejecutaba Scripts sobre el Shell de UNIX.
Luego con el inminente éxito Google en el 2003 se dio a luz el primer proyecto de bases de datos NoSQL llamado BigTable y un poco después apareció Marklogic para el 2005, por supuesto todo esto debido a la necesidad de cubrir ciertas limitaciones que encontraban en sus sistemas SGDB tradicionales, las cuales debido al crecimiento de usuarios, de datos y procesamiento cada vez mayor y de peticiones en tiempo real, debían buscar otras alternativas de almacenamiento y disponiblidad de datos.

A partir de éste momento distintas organizaciones consolidadas como Linkedin, Facebook, Last.fm, Powerset, Couch.io hicieron lo mismo y presentaron sus proyectos en un distintivo meetup de San Francisco en Junio del 2009 presentado por Johan Oskarsson donde explicaban y debatían ciertos aspectos sobre estas nuevas bases de datos.

Entrando en materia

Ya teniendo claro de donde provienen estas fascinantes bases de datos, vamos a verlas un poco más a fondo.
Las bases de datos NoSQL tienen como principal característica la no utilizan del lenguaje de consulta SQL, conocido por todos nosotros, pues al proveer un ambiente altamente distribuido  sería muy complicado realizar algún tipo de Join o consulta entre todos los servidores de un Cluster. También están diseñadas para permitir almacenar y gestionar grandes bancos de información…por ejemplo, Facebook hasta hace un año atras almacenaba, consultaba y analizaba más de 30 Petabytes de datos generados por los usuarios!!!

Existen distintos tipos de bases de datos y cada una nos permite solucionar distintos problemas debido a su enfoque particular.
Al existir distintos tipos de bases NoSQL, podremos obtener la capacidad de utilizar distintas tecnologías dentro de un mismo ambiente, cada una colaborando en un aspecto y funcionalidad puntual, esto se conoce como Persistencia Poliglota.

Características

Dentro de las principales características podemos encontrar:

  • No usan SQL como lenguaje de consulta estándar
  • La información almacenada no requiere un formato o esquema definido (Schemalees)
  • Permiten escalabilidad horizontal
  • No garantizan ACID, esto para mejorar el rendimiento y disponibilidad
  • Presentan operaciones atómicas
  • Permiten replicación y distribución
  • Almacenamiento de grandes bancos de información
  • Solo pueden cumplir 2 de las tres caracteristicas del teorema CAP: Tolerancia, Disponibilida y Tolerancia a Fallos o Particionamiento de Red

Tipos de NoSQL

Aunque a partir de los últimos años se han venido creando distintos tipos de bases datos, presentaré las más utilizadas. Es necesario aclarar y recordar que es importante analizar si verdaderamente es necesario aplicar cualquiera de estas bases para solución de nuestros problemas, pues debemos dedicar tiempo a investigación o incluso dinero si deseas tercerizar el desarrollo.

1. Documentales

Como su nombre lo indica, en ellas podemos almacenar datos de tipo documento, los cuales pueden ser de tipo XML, JSON o BSON principalmente. Como indiqué anteriormente, no es necesario seguir una estructura definida para cada documento, lo cual brinda inmensa versatilidad. Son muy comunes y se acoplan muy bien a soluciones donde deseamos extender.

A continuación veamos la comparación de dos documentos:

base de datos NoSQL Documental
Ejemplo de base de datos NoSQL Documental

Algunas de las bases de datos más populares de éste tipo son:

MongoDB, CouchDB, OrientDB, RavenDB

2. Familia de Columnas o Columnares

Almacenan los datos cambiando nuestra lógica transaccional de filas a columnas. Tienen como característica principal que dentro de una fila podemos encontrar distintas columnas relacionadas a un Key y a su vez cada columna contiene un par (Key-Value) que hace referencia al campo y su valor. La ventaja que presenta es que no es necesario que todas las filas tengan las mismas columnas ni la misma cantidad de columnas, permitiendo adicionar columnas a cualquier fila y en cualquier momento.

Veamos una imagen como referencia:

bases de datos NoSQL ColumnFamily
Ejemplo de bases de datos NoSQL Column Family

Algunas de las bases de datos más populares de éste tipo son:

Cassandra (Facebook), HBase (Twitter), Hypertable, Amazon SimpleDB

3. Llave-Valor (Key-Value)

Este tipo de bases podríamos decir que son las más simples, en ellas podemos almacenar por cada registro una tupla de Key-Value. Para obtener los valores simplemente consultamos por el Key y por supuesto es necesario definir una Key que defina nuestra estructura lo mejor posible, entre tanto podemos encontrar tipo de valores como: Listas, String, Arrays, Arrays ordenados, Hash con los cuales podríamos relacionar otros campos, Arrays de bits. Variando de producto en producto.

Veamos una representación:

bases de datos NoSQL Key Value
Ejemplo de bases de datos NoSQL Key-Value

Algunas de las bases de datos más populares de éste tipo son:

Redis, Riak, Voldemort (LinkedIn), Amazon DynamoDB, Berkeley DB

4. Grafos

Estas bases de datos particularmente nos ayudan a almacenar datos relacionados bajo muchos niveles, imaginémonos representaciones de amigos de mis amigos o productos que relaciones a distintos clientes de distintas nacionalidades. Al ser de tipo grafo, tenemos dos elementos distintivos: Los Nodos, cuya finalidad es representar las entidades (Personas, Productos) con sus respectivas propiedades (Cuit,Nombre) y las Relaciones o Aristas, cuya finalidad será representar tanto el tipo como la dirección de nuestra relación (Gustos, Si amigo o no, Ubicación) con sus respectivas propiedades. También podemos hacer consultas transversales de modo que podemos ampliando el rango de resultados.

Veamos una representación:

bases de datos NoSQL Grafos
Ejemplo bases de datos NoSQL Grafos en . Fuente: cmaps

Algunas de las bases de datos más populares de éste tipo son:

Neo4J (eBay), Inifinite Graph, FlockDB

Haz parte de mi Newsletter
I agree to have my personal information transfered to MailChimp ( more information )
Únete y haz parte como otros visitantes que reciben semanalmente mi newsletter con noticias y artículos actualizados sobre Business Intelligence y Big Data.
Al igual que tú, no tolero el SPAM. Tu dirección de email no será compartida.

Algunas veces podemos encontrar que alguna base de datos entra en más de una clasificación, esto debido a que sus características le permiten adaptarse a distintas aplicaciones y soluciones.

Como podemos ver, tenemos un gran abanico de soluciones capaces de brindarnos distintas capacidades para potenciar nuestras plataformas BI Tradicionales o para empezar nuestros proyectos de Big Data. Debemos analizar sus funcionales y nuestro problema a raíz de poder cubrir nuestras necesidades.

 

Habías escuchado alguna de las bases de datos NoSQL mostradas anteriormente? Cuál de éstos tipos te parece más interesante? Cómo podrías usarlas? Haz usado alguna de las anteriores?

 

Especialista en Business Intelligence con experiencia en herramientas como Pentaho, Microsoft y Microstrategy.
Inmerso en Big Data, las Nuevas Tendencias, el Futbol y la Música.

Las 6V del Big Data

Las 6V del Big Data

En este artículo abordaré los principales aspectos del Big Data, generalmente denominadas como Las 6V del Big Data, mostrando en modo comparativo contra Business Intelligence Tradicional de manera que podamos visualizar fácilmente los beneficios que nos proporciona.

Tal como nos dimos cuenta en el artículo anterior, el Big Data es la tendencia principal del BI hoy en día.
Así que, porque no dedicarle un artículo completo?

 

 

Que es Big Data?

Cuando hablamos de Big Data, nos referimos específicamente  a un conjunto de técnicas y tecnologías que nos permiten almacenar, clasificar y analizar grandes volúmenes de datos, solucionando algunas limitantes que sufren actualmente nuestras plataformas de Business Intelligence Tradicional, entre otras la gestión y administración de nuevas fuentes de información.

Desde el contexto del BI Tradicional, estamos acostumbrados a tratar datos con crecimiento  diario o mensual no muy variado, pero siempre con el mismo tipo de dato (Estructurado y definido), las mismas fuentes (Tales como: Archivos Excel, TXT, ODS o Aplicaciones empresariales relacionales, entre otros), incluso contando con el mismo rango de tiempo de carga aprox. de 4 a 7 horas diarias…pero que pasaría, si nuestra organización  quisiera contar con información en tiempo real de lo que opinan sus clientes sobre un producto o servicio específico?

Vamos a un ejemplo de actualidad, la manera más ideal de obtener dicha información es mediante la medición en tiempo real de nuestras redes sociales.

Por ejemplo, todos hemos visto como las programas de televisión sacan provecho de esto, en particular con su programación en vivo…para un partido de futbol crean un Hashtag #FutbolParaTodos y mientras transmiten también muestran la cantidad de tweets o interacciones del público.

Ejemplo del uso de HashTag en Big Data
Ejemplo del uso de HashTag en Big Data

Ahora, volviendo a nuestra pregunta anterior…si nuestra organización o programadora de televisión quisiera incluir éste dato particular como métrica y así medir su impacto en Twitter, como lo podría soportar nuestra plataforma BI Tradicional?

Analícemelo como nueva fuente de datos:

Tipos de Datos: Claramente sería un nuevo tipo de dato, pues nuestra fuente de información que en este caso sería Twitter nos proporcionaría tweets en su propio formato, el cual en este caso serían documentos en formato JSON (JavaScript Object Notation).

Fuente de Datos: Estamos hablando de una fuente externa la cual no controlamos, estos datos no serían estructurados y ni tampoco cumplirían en primera instancia nuestros aspectos de meta data, ni análisis de información estandarizados por lo tanto esto conlleva a un gran trabajo de transformación.

Tiempo de Carga: Los flujos de datos deberán tomarse con lapsos de tiempo mínimos ya que como todos sabemos pueden haber miles de tweets por segundo, si nuestra solución tradicional  demora en su carga diaria mínimo 4 Horas…realmente lo podríamos soportar?

Cantidad de Datos: Todos sabemos que pueden haber cientos de miles de tweets, entonces lo más probable es que la cantidad de nuevos datos que obtendremos para nuestra métrica va a ser considerablemente grande.

Ahora, nuestra solución BI Tradicional cuenta con una base de datos transaccional capaz de soportar cada uno de estos aspectos?…así que es momento de  preguntarnos:

Nuestra base de datos transaccional soportará grandes volúmenes de datos?
Nuestra base de datos transaccional soportará grandes inserciones por segundo de datos?
Nuestra base de datos transaccional soportará este nuevo tipo de dato?
Nuestra base de datos transaccional podrá convivir con variedad de datos?

Si bien nuestra base de datos transaccional podría responda al menos a una de las preguntas anteriores, para cumplir nuestro objetivo debemos responderlas todas y ciertamente no lo estamos haciendo.

Para tal efecto y para solucionar estas limitantes fue creado el Big Data, que si bien no reemplazará nuestra solución BI Tradicional…si la potenciará o evolucionará con nuevos datos.

Definiendo Las 6V del Big Data

Las 6V del Big Data
Las 6V del Big Data

1. Volumen

Refiere a la capacidad de almacenar grandes bancos de información.

Nuestras soluciones de BI Tradicional contienen un volumen de datos habitual y constante, llegando a tamaños de almacenamiento no mayores a los gigabytes.

Conforme se genera la necesidad de incluir nuevas fuentes emergentes la cantidad de datos crece a un ritmo abismal y nuestro Data Warehouse debe ser capaz de soportar el almacenamiento y el procesamiento de dichos datos para posteriores análisis.

Existen distintas fuentes de datos emergentes que generan grandes cantidades de información y en muy corto tiempo, por supuesto superan considerablemente los tamaños básicos de almacenamiento de soluciones BI Tradicional. (Imagina el típico ejemplo de la cantidad inmensa de tweets que se generan por segundo) .

Podríamos considerar nuevas fuentes de datos emergentes en BI: las redes sociales, sensores de movimiento, sensores de infraestructuras, páginas web, blog, aplicaciones, georeferenciación…entre otros.

2. Velocidad

Las nuevas fuentes emergentes, al igual que generan gran cantidad de datos…también generan datos a gran velocidad y esto es muy visible con nuestro ejemplo actual: muchos tweets o información de redes sociales por segundo o incluso imágenes de vídeo de una transmisión de Streaming de algún evento particular.

Todos estos datos pueden ser esenciales a la hora de tomar una decisión, en el caso de las redes sociales como bien sabemos poder identificar lo que se dice, se piensa o se cree de nuestra organización, por otro lado en las imágenes del evento podríamos validar en tiempo real los gestos de las persona y saber si les gusta o no lo que están percibiendo.

Así púes nuestros DW no soportarían tan grandes flujos de velocidad constante.

3. Variedad

Nuestros DW actualmente cuentan con datos estructurados, datos definidos para la información de nuestros clientes, productos y demás, cuya finalidad nos permite incluir nuevas fuentes adaptadas fácilmente. Pero con las nuevas fuentes disponibles empezamos a encontrar tipos de datos que antes no pensábamos fuera posible contar, entre los que podríamos encontrar: Imágenes o Fotografías, Vídeo, Texto, XML, JSON, Clave-Valor, Audio, Señales de Sensores, Estados de Tiempo, Blog, HTML o incluso datos del Genoma humano…

Las bases de datos transaccionales que usamos en nuestro DW bien podrían almacenar estos tipos de datos, pero no sería de gran ayuda ya que no son óptimas y no nos permitiría extraer información de valor.

Las tecnologías de almacenamiento que usamos actualmente no cuentan con capacidades ni la disposición de alojar estos tipos de datos, por ende es necesario contemplar base de datos que nos brinde flexibilidad y diversidad en este aspecto.

4. Veracidad

Si bien nuestras fuentes existentes han pasado por un proceso de análisis y validación hasta definirse como información de valor para la toma de decisiones, de la misma manera debe suceder para las nuevas fuentes emergentes.

La veracidad o calidad del dato está definida por la elección de los registros de datos que verdaderamente aporten valor, directamente relacionada con la variedad ya que al tener distintos tipo de datos debemos implementar distintos modelos que satisfagan esta condición, es necesario contar con personal que ayude a filtrar y a mantener los datos completamente limpios y tratados para nuestra estrategia.

Al igual que el BI Tradicional debemos contemplar desde el inicio que nuestra finalidad es contar con bancos de datos que una vez tratados y analizados van a generar valor al negocio.

Está bien considerar que éste podría ser el primer escalón, pero no debemos olvidar que está directamente relacionada a los tipos de datos variables que vamos a contemplar.

Haz parte de mi Newsletter
I agree to have my personal information transfered to MailChimp ( more information )
Únete y haz parte como otros visitantes que reciben semanalmente mi newsletter con noticias y artículos actualizados sobre Business Intelligence y Big Data.
Al igual que tú, no tolero el SPAM. Tu dirección de email no será compartida.

5. Valor

Llegados a este punto, es bueno considerar que a pesar de que hemos incluido nuevas fuentes de datos, hemos contemplando el uso de nuevas tecnologías y que hemos generado valor con la inclusión de nuevas métricas y KPI a nuestra plataforma de BI Tradicional, sería interesante  el pensar explotar y generar mucho más provecho a esta información.

Utilizando ciertamente técnicas, algoritmos y desarrollos que permitan predecir con un mayor peso de los datos algunas tomas de decisiones como por ejemplo: predecir comportamientos de nuestros clientes, el momento exacto para crear un nuevo producto o incluso identificar fraudes transaccionales, todo esto es posible si contamos con personas o herramientas que ayuden a la organización a descubrir lo que no sabe, obtener conocimiento predictivo y comunicar historias de datos relevante, generan mucha más confianza en la toma de decisiones desde los datos.

Especialmente estamos hablando de personas con perfil de Científicos de Datos.

6. Visibilidad

Hasta este punto todas y cada una de las V’s se complementan, contando con un gran banco de datos que nos provee información confiable, variable, actualizada y además nos está generando un valor importante frente a nuestra competencia, también es necesario empezar a contar con herramientas de visualización que permitan una manera fácil de leer  nuestros nuevos análisis, que bien podrían ser estadísticos y que muy seguramente comprometería su desarrollo con nuestras herramientas de reporting que contamos actualmente.

Porque crees que tantas empresa de BI actualmente se enfocan en presenta un manera más fácil y flexible de presentar la información?

Para reflejar un poco ese aspecto, te comparto una de mis presentaciones con el software R donde represento de distintas formas de visualizar la oportunidad de tomar la decisión de renovar un servicio para una población especifica después de haber integrado distintas fuentes.

Visualización Analítica R en Big Data
Ejemplo de Visualización Analítica en R para Big Data

 

Espero que sea de tu agrado mi pequeña perspectiva del Big Data frente a la decisión de evolucionar nuestras plataformas BI Tradicional con su integración.

 

Qué opinas de las 6V del Big Data? Consideras que falta una nueva V? Crees que aún no se debería de considerar alguna de las V expresadas anteriormente?

Especialista en Business Intelligence con experiencia en herramientas como Pentaho, Microsoft y Microstrategy.
Inmerso en Big Data, las Nuevas Tendencias, el Futbol y la Música.

lista de las 5 principales tendencias bi

5 Principales Tendencias del Bussines Intelligence

¿Te has preguntado cómo está el Business Intelligence en cuanto a las nuevas tendencias? ¿Quisieras saber hacia donde puedes direccionar tu proyecto en los próximos años? ¿Conoces las principales tendencias? En este post quiero mostrarte desde una perspectiva tecnología y analítica las distintas tendencias y como ha sido su evolución durante los últimos años conforme a los proyectos Business Intelligence, pues nos ayudará a tomar la decisión que tecnología elegir a la hora de emprender la evolución de nuestros proyectos.

Cabe aclarar que no todos los casos aplican a todas las organizaciones…pues es necesario hacer una evaluación previa conforme a nuestros objetivos estratégicos trazados y elegir los aspectos que más nos convenga para llegar a cada una de nuestras metas. Además no toda la organización se verá beneficiada, cada nueva tendencia nos proveerá de aspectos únicos para áreas y cargos puntuales, de acuerdo a cada política empresarial.

Después del contexto anterior y antes de entrar en materia, debo aclara que esta clasificación es basada desde mi experiencia profesional y de cómo percibo la situación actual de los proyectos BI en que he participado y de la manera en que avanza la tecnología en materia de datos.

Lista de las 5 Principales Tendencias del Bussines Intelligence

1. Big Data

Hoy por hoy mucha se habla mucho sobre Big Data…el cual debemos tener completamente claro que estamos hablando de técnicas y tecnologías mediante el cual obtenemos, almacenamos y analizamos grandes cantidades de datos, los cuales dentro de una solución de BI tradicional no podríamos obtener.

Esto debido a que contamos con una diversidad de nuevas estructuras de datos los cuales las bases de datos usadas por las soluciones BI tradicionales no soportan en gran medida (1), como:

  • Datos no estructurados (sin formato definido y variable) como imágenes, videos, PDF, email.
  • Datos semi estructurados donde encontramos nuevos tipos de datos con su propio esquema definido como paginas HTML, archivos XML o documentos de forma JSON

Gracias a este emergente tecnológico podemos hacernos de datos que antes no imaginábamos que fuera posible obtener hasta el punto de saber que piensan de nuestra organización, productos o evitar posibles catástrofes a tiempo. Hablamos de datos provenientes de redes sociales, blogs, Apps, búsquedas de Google, patrones del clima, incluso definir nuevas estructuras de nuestra información (2), biometría, Geo localización, Open Data o internet de las cosas y muchas más.

Todo este mar de nuevos datos está disponible para que hagamos provecho de ello y potenciemos nuestro de datos.

Es por eso que desde mi punto de vista es la tendencia más importante, debido a que nos abre la posibilidad de poder aplicar alguna de las siguientes tendencias.

(1) Las nuevas versiona de los distintos proveedores de bases de datos transaccionales ya soportan datos nos estructurados
(2) Podríamos definir como un documentos facturas de clientes y almacenarlas masivamente en formato JSON para solucionar algún problema puntual

2. Social Intelligence

Esta innovación también es de suma importancia en la actualidad, aquí voy a englobar lo siguiente:

  • Business Intelligence 2.0
  • Real Time Business Intelligence
  • Social Media, Marketing en Business Intelligence

Cuando hablamos de Social Intelligence nos referimos a todos los datos que están disponibles en distintas fuentes en la red, como ya mencionados en el apartado anterior redes sociales, blogs, páginas web, campañas de marketing, email marketing y toda la información que podríamos obtener.

El BI 2.0 tiene un enfoque colaborativo, llevado y adoptado por la evolución del web 2.0 nos encontramos con una incorporación similar a las redes sociales, pero desde el ámbito interno y empresarial, donde empleados de distintos cargos y áreas de la organización pueden opinar y generar ideas de valor que permitan mejorar servicios o productos. Este es un enfoque social empresarial y también se puede sacar provecho de él.

Por otro lado al incluir Real Time Business Intelligence refiero a que cada vez es más la necesidad de las organizaciones a disponer de información en tiempo real, de poder tomar decisiones de manera instantánea o porque no…tener disponible el informe y stock de ventas de la última hora por proveedor, cliente y montos desde un DahsBoard.

Todo esta revolución nos lleva a que para tener un sistema colaborativo y tomar decisiones en tiempo real es necesario tener a nuestra disposición las redes sociales, incluir esta nueva fuente de datos nos da una inimaginable ventaja sobre nuestra competencia, pues podremos responder preguntas como Que opinan de mi organización? Que se dice mi organización? Que les gustaría a mis clientes que mejoraran mis productos? Soy influyente dentro de mis sector? Mis clientes confían en mi organización?

A Para dar respuesta estas preguntas antes debíamos esperar suficiente tiempo después de analizar nuestro estado actual con el histórico, hoy en dia solo basta con disponer de información de nuestras redes sociales para saber qué rumbo tomar en cuanto a nuevos productos, en que debemos mejorar urgentemente y que le podemos ofrecer a nuestros clientes.

Por supuesto debemos seleccionar que tipo de información realmente requerimos, pues no todo nos servirá y terminará ocupando espacio de almacenamiento que tal vez podamos usar en otra fuente.
También es necesario alinear dicha nueva fuente de datos con nuestros objetivos estratégicos, de manera que en realidad influyan en nuestra meta general y realmente aporte valor.

3. Business Intelligence SaaS

Otra llamativa tendencia, personalmente es perfecta para disponer de una solución Business Intelligence cuando las organizaciones no disponen de grandes cantidades de capital para implementar todo un core de cierta marca.
También recordemos que un aspecto importante antes de tomar el vuelo en la implementación de BI es el miedo a intentarlo o al obtener un ROI a un muy corto plazo.

Pues bueno si no te has decidido o tienes miedo a “invertir” grandes cantidades de dinero puedes probar con soluciones BI SaaS.

La ventaja que te brinda está basada entre otras cosas en los costos, pues podríamos hablar de un ahorro de infraestructura, espacio, energía, ingenieros de desarrollo…como también en disponibilidad de la información, ya que al estar en la web puedes disponer de ella en cualquier momento, también te evitas actualizaciones de hardware y software y tienes simplemente cuando lo desees puedes ampliar tu capacidad de almacenamiento, rendimiento y a cuantos usuarios pueden acceder.

Por otro lado debes tener algo presente, dicha solución debe garantizarte privacidad de la información, soportada de manera que estará segura pues “tus datos…ya no serán tan solo tus datos”, los compartirán y debes estar seguro de que está haciendo.

Por otro lado, algunas organizaciones ya tiene un proyecto BI pero se dan cuenta de que la menara en que explotan la información, en que visualizan los informes y en la manera que los comparten se han quedado en un nivel estándar y no tienen manera de actualizarse también pueden optar por una solución de este tipo, pues bien, en vez de contratar toda una solución completa de BI, pueden contratar servicios de reportes agiles y amigables e integrarlos a su solución, no sería lo ideal al ya tener un proyecto consolidado, pero entre tanto es una buena opción para sentarte a evaluar qué camino tomar.

 
Haz parte de mi Newsletter
I agree to have my personal information transfered to MailChimp ( more information )
Únete y haz parte como otros visitantes que reciben semanalmente mi newsletter con noticias y artículos actualizados sobre Business Intelligence y Big Data.
Al igual que tú, no tolero el SPAM. Tu dirección de email no será compartida.

4. BI Open Source

Si bien mi primer acercamiento al Business Intelligence fue con la herramienta Pentaho OS, ya existía en formación una comunidad desde tiempo atrás estable y en crecimiento constante llamada redopenbi en la cual aquellos nuevos apasionados iniciaban su formación o recibian aportes valisos de expertos que ya llevaban tiempo con la herramienta.

Debo decir que era un poco demorado y el escenario perfecto para aquellos que les gustaba intentar, probar y aprender pues debias realizar practicament todo manual, desde definir el cubo con Wokbench, pasando por las etl con el PDI hasta la plataforma web que corria con su propio Mondrian y sin dejar atrás los distintos plugins del CDE y CTools. Debo decirte que dedicabas un buen tiempo instalando y desarrollando si querias que quedara algo perfecto.

Hoy en día es distinto, si bien depende de nosotros una configuración, ya el soporte a crecido y además de pentaho existen otras herramientas que dan aval a que las organizaciones confien en este tip ode soluciones.
Personalmente me parece perfecta, pues puedes configurar y desañar tu plataforma como lo desees, logos y colores empresariales, seguridad, distintos origenes de datos, hasta desarrollar tus propios objetos como indicadores otacómetros pero por suesto tiene un precios, necesitas de alguien que maneje la herramienta y te garantise un soporte estable y confiable para tu plataforma corporativa.

Por supuesto todas tiene versiones de pago con soporte especializado y a medida, aunque también existen empresas especializadas en este tipo de soluciones OS como Stratebi o Troyanx, las cuales desde hace mucho años realizan este tipo proyectos, asesorias y formaciones personalizadas incluso contando con Big Data, Data Analytics, Data Mining y más.

Las organizaciones no deben temer a utilizar estas herramientas, si bien cuando tomas la decision de implemetar un solucion BI, no tienes suficiente presupuesto, este tipo de soluciones son perfecta para ayudarte a visualizar que te encontrar, a que te enfrentaras y lo mas importante como te puede ayudar a la toma de decisiones en tu organzación.
Algunas herramientas son: Pentaho, Spangobi, JaserSoft.

5. Open Data

Cuando hablamos del Open Data, estamos hablando principalmente de una nueva práctica o iniciativa donde empresas de distintos sectores y principalmente organizaciones gubernamentales/administraciones públicas dan libre  acceso a ciertos datos propios en internet de manera que cualquier ciudadano o empresa pueda manipularlos, explotarlos y sacar provecho de dicha información, cuya finalidad ideal es que entre todos se logren identificar y encontrar problemáticas que propietarios no habían identificado o incluso se permita como fuente para la creación de aplicaciones innovadoras o para reforzar tu propio banco de datos.

Desde mi punto de vista los pilares fundamentales para que realmente sea funcional este tipo de información es que sean:

  • Públicos: Fácil acceso, sin necesidad de algún tipo registro o solicitud.
  • Histórico: Es indispensable contar con historia, no tendría sentido analizar solo un año…o sí?
  • Actualizados: Ser actualizado constantemente y documentar al público su tipo de actualización, estructura (Entre menos sea mejor), los datos, etc.
  • Documentados: Contar con descripción detallada tanto del tipo de dato contenido como de cada atributo o campo.
  • Libres: Uso completamente libre para cualquier propósito y fin que la comunidad requiera.
  • Múltiple Formato: Que dispongamos de distintas opciones de formatos para obtener los datos. PDF, TXT, XLM, EXCEL, etc. Por nombrar algunos de los más usados.

Lamentablemente no todos los países gozan de estos beneficios, pues aunque dispongan de dicha “plataforma” realmente no cuenta con información valiosa, sin fácil navegación, sin estructura clara o incluso sin historia, por eso esta iniciativa aunque es perfecta para combinar fuentes de datos y sacar mucho más provecho, aún no es una tendencia real…pero espero que muy pronto se fortalezca a nivel mundial y podamos disponer de estos valiosos datos.

Conclusión

Como te das cuenta actualmente todo tiende a la inclusión de nuevas fuentes de datos como principal potenciador de los proyectos en BI, principalmente hablamos de fuentes algunas veces estructuradas o no, incluso sin formato de manera que nos vemos en la necesidad  de implementar nuevas tecnologías.

No es necesario invertir grandes cantidades de dinero en la potenciación de tus proyectos con nuevas fuentes, analizando detalladamente tus necesidades y tu planeamiento estratégico puedes desarrollar soluciones a medida que te cubran tus necesidades tecnológicas.

En próximos post profundizaré sobre cada tendencia, no te los pierdas!!!

Que te ha parecido esta lista de nuevas tendencias? Cuál sería  el orden o que tendencias no mencionadas consideras deben ser incluidas? Te gustaría opinar sobre una tendencia que quieres aplicar o que estés aplicando actualmente en tu organización?

Especialista en Business Intelligence con experiencia en herramientas como Pentaho, Microsoft y Microstrategy.
Inmerso en Big Data, las Nuevas Tendencias, el Futbol y la Música.

presentacion_blog_big_data_bi

Bienvenidos

Quien soy…

Hola, soy John Alexander Carvajal Agudelo y este es mi blog personal!!!

Con este blog pretendo dar mi punto de vista respecto a los proyectos de BI y su evolución, así es, y para eso es necesario tener presente sus nuevas tendencias las cuales incluyen nuevos procesos, nuevas fuentes, nuevos datos conocidos hoy en día como datos no estructurados, el internet de las cosas, imágenes, audio o video y muchas más.

Mi punto de vista va desde lo teórico hasta lo práctico,  pues hace ya bastante tiempo atrás que soy consultor BI tanto en Colombia y hace poco en Argentina, así que en lo posible antes de llegar a la práctica existirá un contexto previo de lo que voy a hablar.

Hace un par de años decidí especializarme en distintas etapas del BI. Gracias a esta decisión me sumergí en este maravillo mundo de conceptos como fuentes de datos corporativas, plataformas y arquitecturas que soporten consultas analíticas en línea, modelado de datos y muchos más.

Durante mis inicios tuve la fortuna de recibir formación directamente de otras personas influyentes actualmente en BI como Josep Curto Díaz, Emilio Arias Leal y contactado con Pedro Alves (quien desarrolla y apoya Pentaho Open Source).

Todo esto me valió para adquirir un conocimiento sólido, logrando trabajar ya desde hace varios años en  distintos tipos de proyectos y negocios por más de  4 años,  así mismo gracias a ésta experiencia, siempre llegaba en mi mente a una idea en particular…querer transcender, innovar y evolucionar cada proyecto.

Es por eso que decidí aventurarme y documentar prácticas que hoy por hoy están dando de qué hablar y por supuesto con una gran evolución del BI…desde mi punto de vista el Big Data y otras fabulosas actividades como Data Analysis, Data Analytics, Data Mining entre otras que muy seguramente conocerás o habrás escuchado en tu medio.

Lo esencial es querer dar un paso adelante, decidir nutrir nuestros proyectos con nueva información variable y de calidad, contando con una cantidad de nuevas fuentes disponibles de las cuales no conocíamos o no sabíamos cómo obtenerlos y de los cuales podemos sacar mucho provecho y tomar ventaja sobre nuestra competencia y sobresalir.

Por ejemplo: podrías incluir  información de nuestros clientes con la que antes no contábamos como sus gustos, lo que piensan, lo que les gusta y lo mejor en tiempo real…dime a quien no le gustaría un producto tal cual como lo desea o lo piensa?

Pues éste es mi deseo y trataré de hablar de lo que encierra el Big Data, sus etapas, tecnologías y como con su ayuda podemos evolucionar nuestros proyectos BI.

Espero que lo disfruten tanto como yo, éxitos!!!

Especialista en Business Intelligence con experiencia en herramientas como Pentaho, Microsoft y Microstrategy.
Inmerso en Big Data, las Nuevas Tendencias, el Futbol y la Música.

Translate »