数据标准检查工具_1.概述
介绍一种数据标准检查工具,可以帮助那些在数据标准化工作中遭受重复性手工工作困扰的现场 DA(数据架构师)。通过减少手动时间,您可以专注于更高效的任务并消除或减少加班。
此工具是使用 Excel VBA 创建的。 (参考: Excel VBA课程(一):Excel VBA概述)
一、数据标准检查工具概述
数据标准化是数据架构师的工作之一,是一项相当艰巨的任务。
从数据库表/列注释、表定义等收集当前属性名(逻辑名、物理名)、数据类型、长度,将语义单元分离成词,将相同含义的列绑定到相同的逻辑名称、物理名称和数据。用类型和长度定义单个术语的过程需要多次手动重复。
(注:本文不解释数据标准化的详细概念,请参考以下网址。)
https://dataonair.or.kr/db-tech-reference/d-guide/da-guide/?mod=document&uid=269
数据标准化可以概括为反复审核基础词典和当前属性名称,在Excel表格中创建词/词/域词典,并通过标准管理人员审核补充和定稿的过程。
在这个过程中,执行了几个详细的任务,例如:
- 属性逻辑名称更改
- 更改单词物理名称
- 词属性分类器的分配/停用
- 为属性分类器指定域分类名称
- 将两个(或更多)单词注册为复合词
- 指定同义词关系:只使一个词规范化,其他同义词不规范化
- 更改域的数据类型、长度
- ETC…
对于当前的属性名和数据类型/长度,重复上述操作1)使用标准词,2)指定标准域,最后3)制作标准词并规范化。
大多数在现场执行数据标准化工作的数据架构师 (DA) 都使用 Excel 进行手动工作。管理数据标准的元数据管理解决方案有各个公司的产品,但这些产品大多侧重于标准数据字典创建后的管理功能,而不是创建标准数据字典的功能。
我在各个客户做数据标准化工作的时候也经历了很多困难。 2012年第一次尝试工具,利用业余时间不断开发,2016年4月开发出一个基本功能的工具。该工具使用Excel VBA开发,画面如下。
这个工具可以在下面的 github 存储库中找到。
https://github.com/DAToolset/ToolsForDataStandard
或者,您可以直接从此 URL 下载。
在下一篇文章中,我们将了解数据标准字典的组成和标准检查功能。
<< 相关文章列表 >>
黑老师出现失误
运行属性标准检查tool_v1.36_20230505_1.xlsm没有报错
当您按下“检查按钮”或任何其他按钮时,会出现以下错误消息:
&H8000FFFF (-2147418113)ㅅ发生系统错误。
记不清
-> 显示器设置为 100%。
我们已经发布了修复此错误的新版本。
请检查下面的链接。
https://prodskill.com/ko/data-standard-checker-v1-37/