5.1. Datos versus información
5.2. Ciclo de vida de los datos
5.3. Big data. Análisis de los datos
5.4. Almacenamiento de datos en la nube
5.5. Etapas de la ingeniería de datos
5.6. Aplicación a las empresas de la ciencia de datos
5.7. Herramientas para analizar los datos
UT 5. Evaluación de Datos
La evaluación y gestión de datos constituye el núcleo operativo de la transformación digital, transformando elementos brutos e inconexos en activos estratégicos capaces de dirigir la toma de decisiones empresariales. A continuación, se desarrollan sistemáticamente los contenidos curriculares de la Unidad de Trabajo 5 de Digitalización Aplicada al Sector Productivo. [1, 2]
5.1. Datos versus Información
Aunque a menudo se emplean como sinónimos en el lenguaje coloquial, conceptualmente representan etapas distintas del conocimiento: [1]
- Datos: Son hechos, cifras, símbolos o eventos brutos e independientes, desprovistos de un contexto explícito o de una intención inmediata. No tienen significado por sí mismos (por ejemplo: la cifra «42», el texto «Rojo» o el valor «100526»). [1]
- Información: Es el resultado de procesar, organizar, contextualizar y estructurar los datos para dotarlos de significado, utilidad y propósito. La información resuelve una incertidumbre y permite la comprensión (por ejemplo: «El código de producto 100526 tiene 42 unidades en stock de color Rojo»). [1]
\(\text{Datos}+\text{Contexto/Procesamiento}=\text{Información}\)
5.2. Ciclo de Vida de los Datos
El dato no es estático; atraviesa una serie de fases secuenciales e iterativas desde que surge en la organización hasta su eliminación definitiva: [1]
- Planificación y Captura (o Creación): Identificación de las necesidades de datos e ingesta de los mismos a través de transacciones, sensores IoT, formularios o fuentes externas. [1, 2]
- Almacenamiento y Mantenimiento: Ubicación de los datos en soportes físicos o lógicos estructurados seguros, garantizando su disponibilidad y aplicando técnicas de limpieza o transformación inicial. [1]
- Procesamiento y Análisis: Manipulación y explotación del dato mediante herramientas estadísticas y modelos analíticos para extraer la información de valor. [1]
- Difusión o Compartición: Distribución y visualización de la información obtenida hacia los usuarios, aplicaciones o departamentos que la requieran para la toma de decisiones.
- Archivo / Retención: Traslado de los datos que ya no están activos a repositorios históricos de bajo coste por imperativo legal, auditoría o análisis a largo plazo.
- Borrado o Purga: Eliminación segura y definitiva del dato de todos los sistemas corporativos una vez concluida su utilidad y su periodo de retención legal. [1]
5.3. Big Data. Análisis de los Datos
El Big Data es el conjunto de tecnologías, arquitecturas y herramientas creadas para capturar, almacenar, gestionar y procesar volúmenes masivos de datos que desbordan las capacidades de los sistemas de bases de datos tradicionales. [1]
Las 5 «V» del Big Data
Las características intrínsecas que definen el ecosistema de Big Data son: [1]
- Volumen: Cantidades masivas de datos generadas cada segundo (Terabytes, Petabytes).
- Velocidad: Rapidez extrema con la que los datos se crean, transmiten y deben ser procesados en tiempo real.
- Variedad: Multiplicidad de formatos y fuentes: estructurados (bases de datos SQL), semiestructurados (XML, JSON) y no estructurados (vídeos, audios, PDFs).
- Veracidad: Grado de fiabilidad, limpieza y calidad de los datos recopilados (evitar ruido o sesgos).
- Valor: La capacidad de convertir esos datos brutos en un rendimiento económico o beneficio operativo real para la organización. [1, 2, 3]
Tipos de Análisis de Datos
El análisis se clasifica según el objetivo de la pregunta que busca responder: [1]
- Análisis Descriptivo: ¿Qué pasó? Examina datos históricos para resumir eventos pasados (ej. informes mensuales de ventas).
- Análisis Diagnóstico: ¿Por qué pasó? Evalúa las relaciones causales de un fenómeno mediante correlaciones o minería de datos (ej. caídas de tráfico web).
- Análisis Predictivo: ¿Qué pasará? Utiliza modelos estadísticos y algoritmos de Machine Learning para proyectar escenarios futuros (ej. previsión de la demanda de stock).
- Análisis Prescriptivo: ¿Qué deberíamos hacer? Sugiere acciones óptimas automatizadas basándose en las predicciones previas (ej. optimización de rutas logísticas dinámicas).
5.4. Almacenamiento de Datos en la Nube
El almacenamiento en la nube (Cloud Storage) consiste en guardar datos en servidores remotos accesibles a través de Internet, gestionados por un proveedor de servicios. Esto sustituye o complementa a la infraestructura física local (On-Premise). [1]
Modelos de Arquitectura de Almacenamiento en Cloud
- Data Warehouse (Almacén de Datos): Repositorio centralizado optimizado para albergar exclusivamente datos estructurados que ya han sido procesados y transformados para el análisis de negocio (BI).
- Data Lake (Lago de Datos): Repositorio masivo que almacena datos en su formato nativo o bruto (estructurados, semiestructurados y no estructurados) sin procesar, ideal para científicos de datos.
- Data Lakehouse: Una arquitectura moderna que combina la flexibilidad, el bajo coste y la escalabilidad del Data Lake con las funciones de gestión de datos, transacciones estructurales y consistencia del Data Warehouse.
5.5. Etapas de la Ingeniería de Datos
La ingeniería de datos se encarga del diseño, desarrollo y mantenimiento de los sistemas y «tuberías» (pipelines) que permiten que los datos fluyan de manera limpia y segura desde las fuentes hasta los analistas. Sus etapas fundamentales son:
Ingesta ──> Almacenamiento ──> Transformación (ETL/ELT) ──> Servicio/Consumo
- 1. Ingesta de Datos: Captura y extracción de datos desde sistemas transaccionales, APIs, IoT o logs en modo batch (lotes) o streaming (tiempo real). [1, 2]
- 2. Almacenamiento: Depósito inicial de los datos capturados en zonas de aterrizaje dentro de Data Lakes o sistemas intermedios de archivos.
- 3. Procesamiento y Transformación (ETL / ELT): El núcleo de la ingeniería.
- ETL (Extract, Transform, Load): Los datos se extraen, se transforman (limpieza, tipado, agregación) en un servidor intermedio y finalmente se cargan en el destino.
- ELT (Extract, Load, Transform): Los datos se extraen y se cargan directamente en bruto en el destino (aprovechando la potencia del motor de la nube) para ser transformados directamente allí.
- 4. Orquestación y Gobernanza: Automatización de los flujos de datos cronometrados para asegurar la consistencia, el linaje del dato y el cumplimiento de las políticas de seguridad.
5.6. Aplicación de la Ciencia de Datos en las Empresas
La Ciencia de Datos (Data Science) utiliza métodos científicos, matemáticos y algoritmos para extraer conocimiento profundo de los datos. Su aplicación transforma los modelos de negocio tradicionales mediante: [1]
- Segmentación de clientes hiperpersonalizada: Agrupación de usuarios por comportamiento de navegación o compra para campañas de marketing de precisión.
- Optimización de precios dinámicos: Variación automática de tarifas según oferta, demanda instantánea y perfil de usuario (común en aerolíneas y plataformas de ride-sharing).
- Mitigación del riesgo de fuga (Churn rate): Modelos predictivos que detectan qué clientes muestran patrones de abandono de un servicio para lanzar ofertas de retención automatizadas.
- Mantenimiento predictivo: Análisis de vibración o temperatura en activos industriales para reparar componentes antes de que provoquen una parada de producción.
5.7. Herramientas para Analizar los Datos
El ecosistema tecnológico se divide según el perfil profesional y el volumen de datos que se maneje: [1]
A. Herramientas de Business Intelligence (BI) y Visualización
Orientadas a analistas de negocio para crear cuadros de mando (dashboards) interactivos y análisis descriptivos.
- Power BI: La solución empresarial de Microsoft que destaca por su integración con entornos corporativos y su lenguaje DAX de modelado.
- Tableau: Herramienta líder en potencia visual, flexibilidad gráfica y análisis exploratorio intuitivo de grandes volúmenes de datos.
B. Ecosistema Big Data (Procesamiento Distribuido)
Diseñado para ingenieros y científicos de datos que trabajan con infraestructuras masivas distribuidas.
- Apache Hadoop: Marco pionero de almacenamiento (HDFS) y procesamiento distribuido en clusters mediante MapReduce.
- Apache Spark: Motor de procesamiento de datos en memoria sumamente veloz, idóneo para analítica en tiempo real y Machine Learning a gran escala.
C. Lenguajes Avanzados de Programación Analítica
- Python / R: Python se consolida en entornos empresariales mediante librerías de manipulación como Pandas/NumPy y de modelado como Scikit-Learn. R se mantiene fuerte en departamentos de investigación y bioestadística.