DatabricksDatabricks の公式資格入門
データエンジニア アソシエイト
Databricks Certified Data Engineer Associate
Databricks でデータの取り込み・変換・ジョブの運用・ガバナンスを行う基礎力を証明する、データエンジニア向けの資格。
どのような資格か
Databricks のデータインテリジェンスプラットフォームを使い、データの取り込みから変換、ジョブによる自動化、権限の管理までを一通り扱えることを示す資格です。データエンジニアリング分野のアソシエイト(初級)にあたります。
配点が大きいのは「データの変換とモデリング」(22%)と「データの取り込みとロード」(21%)です。最新の出題範囲には、CI/CD の実装や、トラブルシューティング・監視・最適化も含まれます。
こんな人に向いています
- Databricks でデータパイプラインを作り始めたエンジニア
- SQL や Python でのデータ処理の経験を、Databricks での実践力として形にしたい人
- データ基盤の運用や権限管理に関わる人
出題範囲
| 分野 | 配点 | 本サイトの学習ガイド |
|---|---|---|
| Databricks インテリジェンスプラットフォームDatabricks Intelligence Platform | 6% | レイクハウスと Delta Lake |
| データの取り込みとロードData Ingestion and Loading | 21% | データの取り込み(Auto Loader と COPY INTO) |
| データの変換とモデリングData Transformation and Modeling | 22% | 変換パイプラインとジョブレイクハウスと Delta Lake |
| Lakeflow ジョブWorking with Lakeflow Jobs | 16% | 変換パイプラインとジョブ |
| CI/CD の実装Implementing CI/CD | 10% | まだ扱っていません |
| トラブルシューティング・監視・最適化Troubleshooting, Monitoring, and Optimization | 10% | レイクハウスと Delta Lake変換パイプラインとジョブ |
| ガバナンスとセキュリティGovernance and Security | 15% | Unity Catalog による権限管理 |
※ CI/CD(Declarative Automation Bundles など)は、本サイトの学習ガイドと問題集ではまだ扱っていません。公式ドキュメントで学習してください。
勉強の進め方
- 公式ページで最新の試験ガイドを確認し、出題範囲と配点を把握する
- 本サイトの学習ガイドで、分野ごとの要点と用語をつかむ
- Databricks Academy の関連トレーニングと公式ドキュメントで理解を深め、実際のワークスペースで手を動かす
- 問題集の練習モードで分野ごとに解き、間違えた問題は苦手克服モードで解き直す
- 仕上げに模試モードで、1 問あたり約 2 分の時間配分に慣れておく
学習すべき内容
- レイクハウスと Delta LakeDatabricks のデータの土台になる Delta Lake の仕組みと、タイムトラベル・MERGE・OPTIMIZE・VACUUM などの基本操作を学びます。
- データの取り込み(Auto Loader と COPY INTO)クラウドストレージに届くファイルを、Auto Loader や COPY INTO で、重複なく効率よく取り込む方法を学びます。
- 変換パイプラインとジョブメダリオンアーキテクチャの考え方と、Lakeflow のパイプライン・ジョブでデータ処理を自動化し、運用する方法を学びます。
- Unity Catalog による権限管理カタログ・スキーマ・テーブルの階層と権限の仕組み、マネージドテーブルと外部テーブルの違い、リネージを学びます。