概要
Unity Catalog は、Databricks のデータと AI の資産をまとめて管理する、ガバナンスの仕組みです。テーブルだけでなく、ビュー、関数、モデルなども同じ仕組みで権限を管理します。
データエンジニア・データアナリスト・生成AIエンジニアのどの資格でも、ガバナンスやデータの保護の分野の土台になる知識です。
押さえるべきポイント
一、3 階層の名前空間
テーブルは「カタログ.スキーマ.テーブル」の 3 階層で参照します(例: main.sales.orders)。
二、テーブルを読むには親の権限も必要
テーブルを読むには、SELECT の権限に加えて、親のカタログの USE CATALOG と、スキーマの USE SCHEMA が必要です。権限は GRANT と REVOKE で付与・取り消しします。
三、マネージドテーブルと外部テーブル
マネージドテーブルは、データファイルも Unity Catalog が管理します。外部テーブルは、利用者が指定した外部ロケーションにデータを置き、DROP TABLE してもデータファイルは残ります。
四、リネージで影響範囲を確かめる
Unity Catalog は、テーブルや列のリネージ(どこから来て、どこで使われているか)を自動で記録します。列を変更する前に、下流のテーブルやダッシュボードを Catalog Explorer で確認できます。
重要な用語
| 用語 | 意味 |
|---|---|
| Unity Catalog | Databricks のデータと AI 資産の権限・監査・リネージを一元管理する仕組み。 |
| メタストア | Unity Catalog の最上位の入れ物。カタログやその中のオブジェクトのメタデータを保持する。 |
| USE CATALOG / USE SCHEMA | カタログやスキーマの中のオブジェクトを使うために必要な権限。 |
| 外部ロケーション | 外部テーブルなどのデータを置く、クラウドストレージ上の場所。 |
| リネージ | データがどこから来て、どこで使われているかの記録。 |
おすすめの教材
いずれも公式の情報です。内容は更新されることがあるため、最新の版を確認してください。