Herramienta de verificación estándar de datos_1.Descripción general

Presentamos una herramienta de inspección de estándares de datos que puede ser útil para los DA (Arquitectos de datos) de campo que sufren de trabajo manual repetitivo en el trabajo de estandarización de datos. Al reducir el tiempo manual, puede concentrarse en tareas más productivas y eliminar o reducir las horas extra.

Esta herramienta fue creada con Excel VBA. (Referencia: Curso Excel VBA(1): Descripción general de Excel VBA)

1. Descripción general de la herramienta de verificación de estándares de datos

La estandarización de datos, una de las tareas de un arquitecto de datos, es una tarea bastante desalentadora.

Recopile el nombre de la propiedad actual (nombre lógico, nombre físico), el tipo de datos y la longitud del comentario de la tabla/columna de la base de datos, la definición de la tabla, etc., separe la unidad semántica en palabras y vincule las columnas con el mismo significado a la misma lógica. nombre, nombre físico y datos El proceso de definición de un solo término con tipo y longitud requiere muchas repeticiones manuales.

(Nota. Este artículo no explica el concepto detallado de estandarización de datos. Consulte la URL a continuación).
https://dataonair.or.kr/db-tech-reference/d-guide/da-guide/?mod=document&uid=269

La estandarización de datos se puede resumir como un proceso de revisión repetida de diccionarios básicos y nombres de atributos actuales, creando diccionarios de palabras/términos/dominios en hojas de Excel, y completándolos y finalizándolos mediante la revisión con administradores de estándares.

En este proceso, se ejecutan varias tareas detalladas, tales como:

• Cambio de nombre lógico de atributo
• Cambiar el nombre físico de la palabra
• Asignación/desactivación de clasificador de atributo de palabra
• Especifique el nombre de clasificación de dominio para el clasificador de atributos
• Registra dos (o más) palabras como palabras compuestas
• Especifique relaciones de sinónimos: haga que solo una palabra sea canónica y otros sinónimos no canónicos
• Cambiar el tipo de datos del dominio, la longitud
• Etc…

Para el nombre de propiedad actual y el tipo/longitud de datos, las operaciones anteriores se repiten para 1) usar palabras estándar, 2) designar dominios estándar y, finalmente, 3) crear términos estándar y estandarizarlos.

La mayoría de los arquitectos de datos (DA) que realizan trabajos de estandarización de datos en el campo están haciendo trabajo manual con Excel. Hay productos de varias empresas para soluciones de administración de metadatos que administran estándares de datos, pero la mayoría de estos productos se enfocan en la función de administrar el diccionario de datos estándar después de que se crea en lugar de la función de crear un diccionario de datos estándar.

También pasé por muchas dificultades mientras realizaba trabajos de estandarización de datos en varios clientes. En 2012, probé por primera vez las herramientas y desarrollé una herramienta con funciones básicas en abril de 2016 desarrollándola constantemente en mi tiempo libre. La herramienta fue desarrollada utilizando Excel VBA, y la pantalla es la siguiente.

Esta herramienta se puede encontrar en el repositorio de github a continuación.

https://github.com/DAToolset/ToolsForDataStandard

Alternativamente, puede descargar directamente desde esta URL.

https://github.com/DAToolset/ToolsForDataStandard/blob/main/Herramienta de verificación estándar de propiedad_v1.33_20210606_1.xlsm?raw=true

---

En el próximo artículo, veremos la composición del diccionario estándar de datos y la función de verificación estándar.

<< Lista de artículos relacionados >>

• Herramienta de verificación estándar de datos_1.Descripción general
• Herramienta de inspección estándar de datos_2.1 Composición de la pantalla, 2.2 Función de inspección estándar
• Herramienta de inspección de estándares de datos_2.3 Composición del diccionario de estándares de datos
• Herramienta de inspección estándar de datos_3. Resultados de inspección estándar por caso
• Herramienta de verificación estándar de datos_4.Adjunto
• Cómo reparar la herramienta de verificación estándar de datos_v1.33 Error "No hay suficiente memoria"
• Herramienta de verificación estándar de datos Descripción Contenido, Descargar