Open Metadata

OSS データカタログソリューション

企業におけるデータ利活用の取り組みが促進されている中、データマネージメントやデータカタログの重要性も高まっており、エンタープライズ向けのデータカタログソリューションの導入を検討しているお客様も多くなっています。

しかし、エンタープライズ向けのデータカタログソリューションでは、利用者数に応じたサブスクリプションライセンス費が必要になり、状況次第では高額な投資になる事があります。

データカタログを導入せずに、DWH などのデータ基盤のテーブル定義書をベースとして、そのテーブルの意味合いやカラムの意味合いを追加し、用語集なども用意して手製のデータカタログをWebベースやファイルベースの情報として、利用者に提供している組織も少なくありません。その結果、データ基盤の利用や開発が進むにつれ、システムの更新は行う一方で、手製のデータカタログの更新が追い付かないといった事態が起こります。

データカタログソリューションの新たな選択肢

Open Metadata

Open Metadataは、企業が持つメタデータを一箇所に集めて運用管理するためのオープンソースのデータカタログソリューションです。

Open Metadataを利用する事により、ライセンス費の問題を回避し、高額な投資をせずにデータカタログの導入、データマネージメントの高度化を行う事が可能です。

データカタログのプロセスと Open Metadata機能の関係性

データカタログの根本となる機能は、データ基盤のメタデータ（テクニカルメタデータ）をシステム的にクローリングして収集する事を可能にし、データカタログの管理者層の方々がビジネスメタデータを登録する事ができる事と、データ基盤のメタデータ（テクニカルメタデータ）が変更された場合にも、その変更を検知して、変更に対応したビジネスメタデータの拡充を行い、それらのデータカタログを検索できる事になります。

Open Metadata では下記のプロセスによってこの仕組みを実現しています。

利用者視点での Open Metadata の機能概要

Open Metadataは、データカタログの基礎的な機能である Data Discovery機能やチームコラボレーションを可能とする Data Collaboration機能だけでなく、データ品質の為の Data Quality & Observability機能、データの源泉から現在に至るまでの一連の情報を可視化する Data Lineage機能、データアセットに対する指標によってデータの健全性を評価する Data Insight機能、データカタログ機能のロール管理やデータアセットの分類、タグ付け、用語集化を可能とする Data Governance機能なども持っています。

Data Discovery

Discover the right data assets to make timely business decisions.

Data Collaboration

Foster data team　collaboration to enhance data understanding.

Data Quality & Observability

Trust your data with quality tests & monitor the health of your data systems.

Data Lineage

Trace the path of data across tables, pipelines, and dashboards.

Data Insights

Define KPIs and set goals to proactively hone the data culture of your company.

Data Governance

Enhance your data platform governance using Open Metadata.

出典：https://docs.open-metadata.org/latest/how-to-guides#features-in-openmetadata

Open MetadataのUI （一例：Data Quality機能）

Open Metadata ではデータの鮮度や正確性を監視する「テストケース」を作成することで、データの信頼性を高めることが可能です。その監視に対するアラートを設定することで、迅速な解決も可能です。

テストケースに基づくデータの信頼性を数値化（視覚化）することで、瞬時に問題を確認し、解決に向けた対応に迅速に着手することが可能です。

出典：https://docs.open-metadata.org/latest/how-to-guides/data-quality-observability/quality

DXCのOpen Metadataに対する取り組み

DXC では、Open Metadata以外のエンタープライズデータカタログソリューションを含む豊富な経験を持ったメンバーが中心となり、SnowflakeやOpenText Analytics Database (VERTICA) などの複数のDWH製品に対するOpen Metadataを利用したデータカタログを実現しています。さらに、Open Metadata に格納したテクニカルメタデータやビジネスメタデータなどのインサイトを、生成AIにつなげて活用する検証なども実施しています。

データカタログソリューションの採用を検討しているお客様に対してDXCから、Open Metadataの検証、導入、トレーニングなどのサポートを提供することで、お客様のデータマネージメントやデータカタログソリューション導入プロジェクトの立ち上げと展開を実現し、ビジネス価値の早期創出を支援します。

DXCのスペシャリストがお客様のさまざまな課題解決をご支援いたします。

お気軽にお問合せください。

お問合せ