Malla de datos frente a otras opciones de gestión de datos

May 01, 2023

imágenes falsas

Las organizaciones que buscan más valor de los datos tienen muchas estrategias para elegir. Asegúrese de comprender las opciones y sus respectivas limitaciones para elegir la arquitectura de datos adecuada.

Las organizaciones no deben pasar por alto las necesidades de datos y la estrategia de datos al comprar herramientas. Si lo hacen, podrían tomar decisiones tecnológicas subóptimas y subestimar el gobierno, la seguridad y la privacidad de los datos, dijo Srujan Akula, director ejecutivo de The Modern Data Company, que proporciona un sistema operativo de datos.

"Los profesionales deben priorizar la comunicación, involucrar a las partes interesadas y garantizar una comprensión integral de los objetivos y requisitos de su organización antes de implementar cualquier solución de arquitectura de datos", dijo Akula. Además, la capacitación del personal y el desarrollo de habilidades son partes cruciales de la adopción de tecnología.

La malla de datos es el último capítulo en la evolución de las arquitecturas de datos. Las arquitecturas de análisis de datos comenzaron con almacenes de datos antes de convertirse en lagos de datos. La malla de datos es la tercera versión que deben considerar las organizaciones.

"La malla de datos aborda las necesidades de escala y variedad de datos, así como la velocidad de obtener información de estos sistemas", dijo Ravi Mayuram, CTO de la empresa de base de datos NoSQL de código abierto Couchbase.

Este artículo explora qué es la malla de datos y en qué se diferencia de otros enfoques comunes, incluidos los almacenes de datos, los lagos de datos y las estructuras de datos. También proporciona consejos prácticos para las organizaciones que implementan un enfoque de malla de datos.

La malla de datos aborda los desafíos de escalar datos y análisis en organizaciones complejas. La malla de datos es una arquitectura de datos descentralizada que organiza los datos por dominios y se centra predominantemente en las personas y los procesos. Zhamak Dehghani, CEO de Nextdata, fue pionera en el concepto mientras trabajaba en la consultora tecnológica Thoughtworks.

Tiene cuatro principios fundamentales:

Este enfoque contrasta la malla de datos con equipos y estructuras de datos centralizados. Estos equipos centralizados intentan resolver todos los problemas, dijo Lior Gavish, CTO del proveedor de soluciones de observabilidad de datos Monte Carlo Data. La malla de datos debería ayudar a las empresas a escalar los equipos de datos. "¿Cómo podemos permitir que muchos equipos diferentes usen los datos de manera efectiva e independiente entre sí?" dijo Gavish.

Los almacenes de datos tienden a ser monolíticos y cargan datos en un solo entorno, funcionando como un depósito de datos que respalda el análisis y la toma de decisiones. Una malla de datos permite un entorno distribuido donde los datos no tienen que moverse para proporcionar valor empresarial. Un almacén de datos y una malla de datos no se excluyen mutuamente, porque un almacén de datos puede ser parte de una malla de datos.

La filosofía detrás de un almacén de datos es crear una versión única de la verdad y centralizarla bajo el control de TI. El almacén de datos es la plataforma de datos; es donde los usuarios almacenan y crean productos de datos.

"La malla de datos se enfoca más en una mentalidad organizacional que trata los datos como productos de primera clase propiedad de dominios individuales", dijo Dipankar Mazumdar, defensor de desarrolladores en Dremio, un proveedor de soluciones de lago de datos abiertos.

Hay desventajas en el enfoque del almacén de datos.

"Los datos monolíticos impulsan procesos complejos de gestión de cambios [y] crean tiempos de aceleración prolongados para nuevos técnicos", dijo Jon Osborn, CTO de campo en la empresa de automatización de canalización de datos Ascend.io. "[También] alimenta un trabajo pendiente de ingeniería interminable con solicitudes que deben ser autogestionadas".

Al igual que un almacén de datos, un lago de datos centraliza el almacenamiento y el procesamiento de datos, aunque un lago de datos puede almacenar datos estructurados y no estructurados principalmente en almacenamiento de archivos u objetos. También puede convertirse en parte de una malla de datos.

"El concepto de malla de datos se basa en una capa de malla que entreteje fuentes de datos operativos y lagos de datos específicos de dominio", dijo Mayuram.

Fundamentalmente, al evaluar el lago de datos o el enfoque de malla, o una combinación de ambos, un líder de datos debe comprender si las arquitecturas para administrar datos distribuidos son apropiadas para su organización. Las grandes organizaciones con arquitecturas complejas pueden sufrir silos de datos y problemas de accesibilidad. Esto hace que la integración de datos a través de diferentes fuentes sea abrumadora, dijo Bob Audet, socio y líder de gestión de datos en Guidehouse, una firma de servicios gestionados, digitales y de consultoría.

"Los consumidores de datos y los curadores de datos no pueden encontrar los datos correctos, lo que dificulta mantenerse por delante de la competencia y seguir el ritmo de las necesidades comerciales que cambian rápidamente", dijo Audet.

El objetivo de una estructura de datos es integrar fuentes dispares y proporcionar una vista centralizada y holística de los activos de datos de una organización. Esto contrasta con el enfoque de la malla de datos en la arquitectura y la propiedad de datos descentralizados. Ambos tienen como objetivo admitir diversos casos de uso de los datos en la organización.

"Cada dominio o unidad comercial tiene la propiedad de sus propios productos de datos, que se administran y rigen localmente", dijo Mazumdar, describiendo la malla de datos. "Esto significa que los datos se tratan como un producto y que los equipos de dominio son responsables de la calidad, el control y el ciclo de vida de sus propios productos de datos".

El enfoque de estructura de datos para la gestión de datos crea una vista unificada e integrada de los datos en toda la organización. Se basa en la idea de que los datos deben ser fácilmente accesibles y detectables, y estar organizados de una manera que facilite su combinación y análisis. La estructura de datos generalmente se implementa a través de una combinación de tecnologías.

"La estructura de datos... [es] la primera tecnología que realmente comienza a separar los datos de las aplicaciones, un avance que se ha esperado durante mucho tiempo", dijo Sylvie Veilleux, miembro del consejo asesor de la organización sin fines de lucro Data Collaboration Alliance y exdirectora de informática de Dropbox. . "El ecosistema de datos moderno es increíblemente complejo y conecta todo tipo de canalización, desde bases de datos hasta lagos de datos".

La estructura de datos utiliza una arquitectura para establecer una conexión entre los datos y los metadatos que existen en los silos organizacionales, dijo Veilleux. Con la estructura de datos, los sistemas basados ​​en permisos controlan el acceso a los datos, mientras que en la malla de datos los propietarios funcionales controlan los datos y su acceso. Esto significa que no necesita permiso de una autoridad de control central.

Este es "un paso crucial para terminar con la antigua práctica de hacer copias interminables incluso de datos confidenciales", dijo Veilleux.

No existe una única implementación de malla de datos perfecta. Las organizaciones pueden beneficiarse incluso de implementaciones simples o parciales, según Osborn.

"Una estrategia de malla de trabajo producirá datos más accesibles y permitirá que más dedos en los teclados usen los datos", dijo Osborn. "Los analistas, los científicos de datos, los creadores de informes y, potencialmente, los empresarios podrán participar. Planifíquelo".

Todas las estrategias de datos tienen suposiciones subyacentes que deben ser ciertas para que funcionen según lo previsto. Para eludir los errores evitables, las organizaciones deben comprender estas suposiciones. De acuerdo con Osborn, las tres suposiciones principales de la malla de datos son las siguientes:

Parte de: ¿Es la malla de datos la elección correcta?

La malla de datos adopta un enfoque descentralizado para la gestión de datos y la obtención de valor de los datos. Comparte similitudes con almacenes de datos, lagos y estructuras, pero difiere en filosofía.

La malla de datos puede mejorar la calidad de los datos y los conocimientos de una organización, pero los desafíos importantes pueden hacer que estos beneficios sean difíciles de lograr.

El análisis en tiempo real permite una toma de decisiones y conocimientos más rápidos. A medida que aumenta la importancia de la democratización de los datos, la malla de datos ayuda a descentralizar esos datos para todos los usuarios.