数据标准检查工具_1.概述

介绍一种数据标准检查工具,可以帮助那些在数据标准化工作中遭受重复性手工工作困扰的现场 DA(数据架构师)。通过减少手动时间,您可以专注于更高效的任务并消除或减少加班。

此工具是使用 Excel VBA 创建的。 (参考: Excel VBA课程(一):Excel VBA概述)

一、数据标准检查工具概述

数据标准化是数据架构师的工作之一,是一项相当艰巨的任务。

从数据库表/列注释、表定义等收集当前属性名(逻辑名、物理名)、数据类型、长度,将语义单元分离成词,将相同含义的列绑定到相同的逻辑名称、物理名称和数据。用类型和长度定义单个术语的过程需要多次手动重复。

(注:本文不解释数据标准化的详细概念,请参考以下网址。)
https://dataonair.or.kr/db-tech-reference/d-guide/da-guide/?mod=document&uid=269

数据标准化可以概括为反复审核基础词典和当前属性名称,在Excel表格中创建词/词/域词典,并通过标准管理人员审核补充和定稿的过程。

데이터 표준화 작업의 흐름 요약
数据标准化工作流程总结

在这个过程中,执行了几个详细的任务,例如:

  • 属性逻辑名称更改
  • 更改单词物理名称
  • 词属性分类器的分配/停用
  • 为属性分类器指定域分类名称
  • 将两个(或更多)单词注册为复合词
  • 指定同义词关系:只使一个词规范化,其他同义词不规范化
  • 更改域的数据类型、长度
  • ETC…

对于当前的属性名和数据类型/长度,重复上述操作1)使用标准词,2)指定标准域,最后3)制作标准词并规范化。

大多数在现场执行数据标准化工作的数据架构师 (DA) 都使用 Excel 进行手动工作。管理数据标准的元数据管理解决方案有各个公司的产品,但这些产品大多侧重于标准数据字典创建后的管理功能,而不是创建标准数据字典的功能。

我在各个客户做数据标准化工作的时候也经历了很多困难。 2012年第一次尝试工具,利用业余时间不断开发,2016年4月开发出一个基本功能的工具。该工具使用Excel VBA开发,画面如下。

데이터 표준점검 도구 화면
数据标准检查工具屏幕

这个工具可以在下面的 github 存储库中找到。

https://github.com/DAToolset/ToolsForDataStandard

或者,您可以直接从此 URL 下载。

https://github.com/DAToolset/ToolsForDataStandard/blob/main/Property标准检查工具_v1.33_20210606_1.xlsm?raw=true


在下一篇文章中,我们将了解数据标准字典的组成和标准检查功能。

<< 相关文章列表 >>

2 条回复

  1. 头像照片 한경훈说道:

    黑老师出现失误

    运行属性标准检查tool_v1.36_20230505_1.xlsm没有报错
    当您按下“检查按钮”或任何其他按钮时,会出现以下错误消息:

    &H8000FFFF (-2147418113)ㅅ发生系统错误。

    记不清

    -> 显示器设置为 100%。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

zh_CN简体中文