データ標準チェックツール_1。概要
データ標準化業務で繰り返し手作業に苦労する現場のDA(Data Architect、データアーキテクト)に役立つデータ標準チェックツールを紹介する。手作業時間を短縮し、より生産的な業務に集中し、夜勤をなくしたり減らすことができる。
このツールはExcel VBAで作成されました。 (参照: Excel VBAコース(1):Excel VBAの概要)
1. データ標準チェックツールの概要
データアーキテクトの業務の一つであるデータ標準化はかなり高まった作業だ。
データベーステーブル/列のコメント、テーブル定義書などから現行属性名(論理名、物理名)、データ型、長さを収集して意味単位を単語に分離、同一意味の列を束ねて同一論理名、物理名、データタイプ、長さを持つ1つの用語で定義するプロセスは、多くの手作業を繰り返す必要があります。
(Note. イーグルではデータ標準化の詳細概念は説明しない。下記URLを参照してください。)
https://dataonair.or.kr/db-tech-reference/d-guide/da-guide/?mod=document&uid=269
データ標準化作業は、基礎辞書と現行属性名を繰り返し検討し、単語/用語/ドメイン辞書をExcelシートで作成した後、標準管理者とレビューを通じて補完、確定する過程で要約することができる。
このプロセスでは、次のようないくつかの詳細なタスクが実行されます。
- 属性論理名の変更
- 単語物理名の変更
- 単語の属性分類語の指定/解除
- 属性分類にドメイン分類名を指定する
- 単語2個(またはそれ以上)を複合単語として登録
- 同義語関係の指定:1つの単語のみが標準になり、他の同義語は非標準として指定
- ドメインのデータ型、長さの変更
- など…
現行属性名とデータ型/長さについて上記の作業を繰り返し、1)標準単語の使用、2)標準ドメイン指定、最終的に3)標準用語で作られて標準化される。
現場でデータ標準化作業を行うほとんどのデータアーキテクト(DA)は、Excelを活用して手作業をしている。データ標準を管理するメタデータ管理ソリューションにはいくつかの企業がありますが、これらの製品は、ほとんどがデータ標準辞書を作成するのではなく、データ標準辞書が作成された後に管理する機能に焦点を当てているからです。
私は、さまざまな顧客からデータの標準化作業を実行しながら、多くの困難を経験しました。 2012年にツール化を初めて試み、着実にチャンちゃんが開発し、2016年4月に基本的な機能を備えたツールを作った。ツールはExcel VBAを使用して開発され、その画面は次のとおりです。
このツールは以下のgithubリポジトリで確認できます。
https://github.com/DAToolset/ToolsForDataStandard
あるいは、このURLから直接ダウンロードできます。
次の記事では、データ標準辞書の構成と標準チェック機能について説明します。
<< 関連記事のリスト >>
黒黒先生エラーが発生
属性標準チェックツール_v1.36_20230505_1.xlsm実行時にエラーが発生しない
そして「チェックボタン」や他のボタンを押すと以下のエラーメッセージが発生します
&H8000FFFF(-2147418113)ㅅステムエラーが発生しました
メモリ不足
->モニタ100%に設定した状態です
このエラーを修正したバージョンを新しくデプロイしました。
下記リンクをご確認ください。
https://prodskill.com/ko/data-standard-checker-v1-37/