Gestion de calidad de datos | 7 mins read

Que es la gestion de calidad de los datos? 5 pilares clave para conocer

what is data quality management 5 key pillars to know

By

Introduccion a la Gestion de Calidad de los Datos

Recopilar, organizar y almacenar datos es solo la mitad de la batalla de la administracion de datos. La informacion que queda en las bases de datos puede deteriorarse con el tiempo, perdiendo precision y valor. Para evitar esto, muchas empresas practican la gestion de la calidad de los datos para preservar la informacion y mantener el cumplimiento de los datos normas de calidad .

Que es la gestion de la calidad de datos?

what is data quality management 1615501833 6209

La gestion de la calidad de los datos (DQM) consiste en practicas de mantenimiento para mejorar la calidad de la informacion. DQM abarca desde la recoleccion inicial de datos hasta la implementacion de soluciones de gestion de datos y distribucion de informacion. Las empresas reconocen que DQM es un proceso interno esencial para mantener la informacion actualizada y fiable. De lo contrario, los datos pueden deteriorarse con el tiempo, disminuyendo la precision y el impacto de los conocimientos.

Ahora mas que nunca, las empresas necesitan DQM, ya que muchas tienen varias soluciones, lo que dificulta su mantenimiento sin practicas estandarizadas. Al establecer procesos de DQM, las empresas pueden optimizar sus bases de datos, metodos de recopilacion de datos y mantenimiento. Esto garantiza que todos los informes, analisis e informacion generados sean precisos e impactantes.

Metricas para medir la calidad de los datos

metrics for measuring data quality 1615501833 9090

La medicion de la calidad de los datos es fundamental para las empresas que dependen de informacion historica y en tiempo real para tomar decisiones informadas. Las empresas no pueden evaluar su nivel de rendimiento sin DQM objetivamente. Por lo tanto, las organizaciones deben revisar las metricas clave que determinan la calidad general de los datasets.

Precision

accuracy 1615501833 7960

La exactitud de los datos se refiere al cambio continuo en el estado a medida que las empresas ciclo en la informacion en tiempo real. En otras palabras, la informacion mas reciente reemplaza la informacion obsoleta para proporcionar los detalles mas precisos. Las empresas pueden medir la exactitud de los datos a traves de una amplia documentacion fuente y metodos de verificacion para garantizar que la informacion se contabiliza y sea correcta.

Las empresas que utilizan software de gestion pueden realizar un seguimiento de la precision mediante la supervision de la relacion entre los datos y los indicadores clave de rendimiento (KPI) de error. Esta metrica cuenta el numero de campos de datos faltantes y erroneos y los compara con el conjunto de datos general. Las empresas, por supuesto, deberian esforzarse por disminuir los problemas de calidad, pero pueden comenzar estableciendo un punto de referencia de apetito de riesgo. En otras palabras, los gerentes deben determinar el numero maximo de errores que permitiran en los sistemas.

Consistencia

consistency 1615501834 2548

La consistencia de los datos garantiza que los datasets de todos los sistemas coincidan, independientemente de donde se originen. Por ejemplo, el perfil de un cliente debe tener la misma informacion personal en el punto de venta (POS) y los sistemas de gestion del cliente. Si los datos estan en conflicto, las empresas no pueden descifrar que conjunto de datos es correcto.

Con la integracion del sistema, las empresas pueden conectar todo su software establecido para crear una interfaz universal. La integracion permite que las soluciones compartan datos en tiempo real entre si para garantizar que los datos sean consistentes en toda la empresa. Sin embargo, es importante diferenciar la consistencia con la precision, ya que los conjuntos de datos pueden coincidir pero ser incorrectos.

Completitud

La integridad se refiere a la totalidad de los datos para que las empresas puedan sacar conclusiones holisticas e informacion procesable. Las empresas pueden medir la integridad de los datos comprobando los campos en busca de entradas faltantes. Nuevamente, los integradores de sistemas pueden extraer datos relevantes de otras fuentes para completar formularios y garantizar su integridad.

Integridad

integrity 1615501834 1214

La integridad de los datos, tambien conocida como validacion de datos, es la prueba de conjuntos de datos para garantizar que las empresas cumplan con las politicas. Las regulaciones especificas de la industria exigen a las empresas comprobar la exactitud de los datos y utilizar ciertos formatos. Por lo tanto, las organizaciones deben seguir cumpliendo las normas para evitar tasas y otras sanciones.

Para medir la integridad, las empresas necesitan monitorear la tasa de error de transformacion de datos. Esta metrica determina cuantas veces los procesos internos no pueden volver a formatear los datos correctamente a medida que se desplazan entre ubicaciones. Si esta tasa continua aumentando, es posible que las empresas deban considerar nuevos metodos de conversion.

Puntualidad

La puntualidad de los datos se refiere a la disponibilidad y accesibilidad de la informacion en un momento dado. En otras palabras, es la diferencia entre cuando las empresas esperan informacion frente a cuando realmente la reciben. Dado que las empresas dependen de datos en tiempo real para mejorar diversas estrategias, deben medir activamente la puntualidad.

La metrica de tiempo de valor mide el valor de la informacion en funcion de su puntualidad. Dado que las organizaciones prefieren los datos en tiempo real, suelen encontrar la informacion mas actualizada que proporciona el mayor valor. Por lo tanto, los administradores deben esforzarse por establecer sistemas que extraen datos de forma rapida y precisa.

Los 5 pilares de la gestion de calidad de los datos

the 5 pillars of data quality management 1615501834 6228

Ademas de las diversas metricas de calidad de los datos, las empresas tambien deben considerar los cinco pilares del GDC exitoso.

El Pueblo

Aunque la tecnologia tiene el poder de mejorar significativamente el rendimiento de las empresas, solo es tan efectiva como las personas que la controlan. Por lo tanto, si los empleados no estan capacitados y conocedores de la funcionalidad de la solucion, la empresa no optimizara sus operaciones. Al crear una jerarquia de empleados, las organizaciones pueden establecer roles basados en las habilidades, la experiencia y las habilidades del trabajador.

  • Gestores de DQM son responsables de supervisar todos los esfuerzos de expansion de inteligencia empresarial. Por lo tanto, deben mantenerse al dia sobre el alcance del proyecto, el presupuesto, los miembros del equipo y la implementacion.
  • Gerentes de Cambio de Organizacion organizar y ayudar en diversos proyectos, desde el establecimiento de paneles de software hasta la generacion de informes.
  • Analistas de datos son las abejas ocupadas que trabajan para establecer metas, como mejorar la calidad de los datos, puntualidad e integridad. Estos son los empleados que realmente ejecutan los planes organizados.

Perfilado de datos

data profiling 1615501834 6034

El perfilado de datos es un proceso ciclico en DQM que consta de cuatro pasos.

1. Revision exhaustiva de cada conjunto de datos.

2. Examinar datos a sus metadatos.

3. Pruebas de modelos estadisticos.

4. Generacion de informes sobre la calidad general de los datos.

El proceso de elaboracion de perfiles de datos es necesario para desarrollar perspectivas e informes a partir de los datos. Sin este proceso, las empresas no pueden garantizar la exactitud y la integridad de la informacion.

Definicion de Calidad de Datos

El pilar de calidad se centra en lo que la calidad de los datos significa especificamente para cada negocio. La definicion de calidad de los datos puede parecer muy diferente entre empresas, ya que pueden tener varios estandares. Por ejemplo, algunas organizaciones pueden tener un apetito de alto riesgo, lo que permite mas discrepancias en los datos que otras.

Esto suele depender de la industria, la competencia y los clientes de la empresa. A medida que los mercados fluctuan, el significado de la calidad de los datos tambien puede cambiar con el tiempo. Por lo tanto, las empresas deben supervisar su inteligencia empresarial y actualizar su definicion.

Informes de datos

data reporting 1615501834 3821

El cuarto pilar de DQM es la presentacion de datos, que es el proceso de eliminar y notificar cualquier dato que comprometa. Con base en los estandares de la empresa, los gerentes deben identificar y registrar discrepancias de cada sistema individual. Despues de consolidar esta informacion, la administracion puede definir variables comunes para desarrollar patrones. Esto permite a la empresa implementar medidas preventivas.

Reparacion de datos

La reparacion de datos consiste en remediar datos e implementar un nuevo sistema para mejorar la precision de la informacion. Al encontrar la causa principal de datos erroneos, los administradores deben identificar por que, donde y como los datos se volvieron defectuosos. Con estos detalles, los desarrolladores pueden programar herramientas de calidad que reparan los fallos de funcionamiento, evitando errores similares.