PDE（Google Cloud Professional Data Engineer試験）の新試験範囲のサービスまとめ

2024年1月に試験範囲が変更されていたことを知らず、撃沈したので新しい試験範囲のサービスについて、まとめます。

## データメッシュ実現を支えるサービス群
### Dataplex
https://cloud.google.com/dataplex/docs/introduction?hl=ja

- 分散データを統合し、データ管理とガバナンスを自動化するデータファブリック

### Data Catalog
https://cloud.google.com/data-catalog/docs/concepts/overview?hl=ja

- Dataplexの一部として統合された、フルマネージドのメタデータ管理サービス
- データアセットの発見、管理、理解の促進
- 技術的メタデータとビジネスメタデータの橋渡し
- データリネージの追跡

## リアルタイムデータ統合を実現するDatastream
### Datastream
https://cloud.google.com/datastream/docs/overview?hl=ja

- 変更データキャプチャ（CDC）とレプリケーションサービス
  - CDCツールとは
    - CDCツール（Change Data Capture）
    - データベース収集のためのツール
    - 更新ログ（挿入、更新、削除）を収集し、データレイクに書き込む
    - 起動しておけば、ほぼリアルタイムにデータベースのデータを収集できる
    - AWSだとAWS Database Migration Service
- MySQL、PostgreSQL、AlloyDB、SQL Server、Oracleデータベースからのストリーミングデータアクセス

- BigQueryを使用したほぼリアルタイムの分析
- 自動スケーリングに対応したサーバーレスプラットフォーム
- ユースケース
    - **リアルタイム分析：** 最新のデータを使用して、ビジネスの洞察を迅速に得る
    - **データウェアハウスの構築：** オンプレミスまたはクラウドのデータベースから BigQuery などのデータウェアハウスにデータをストリーミングする
    - **アプリケーションのモダナイゼーション：** レガシーアプリケーションを最新化し、リアルタイムデータを利用できるようにする
    - **データベースのマイグレーション：** データベースを Google Cloud に移行する際に、ダウンタイムを最小限に抑える
    - **データレプリケーション：** ディザスタリカバリや高可用性のためにデータを複製する

## データ変換と分析の効率化
### Dataform
https://cloud.google.com/dataform/docs/overview?hl=ja

- SQLベースのデータ変換パイプラインを開発・運用するためのサービス
- データパイプラインの開発、テスト、デプロイ、監視を効率化できる

- SQLを使用したBigQueryでのデータパイプライン構築（SQLxの機能）
- GitHubおよびGitLabとの統合（CI/CDとの連携）
- インフラストラクチャ管理不要のテーブル更新

- ユースケース
    - **データウェアハウスの構築と管理:** Dataform を使用して、データウェアハウスのスキーマを定義し、データ変換ロジックを実装できます
    - **データパイプラインの開発と運用:** Dataform は、データパイプラインの開発、テスト、デプロイ、監視を効率化します
    - **データ品質の向上:** Dataform のテスト機能を使用して、データ品質を確保し、エラーを早期に発見できます
    - **データチームのコラボレーション:** Dataform は、Git との統合により、データチームのコラボレーションを促進します
    
## ワークフローのオーケストレーションとデータ共有
### Workflows
https://cloud.google.com/workflows/docs/overview?hl=ja

- サーバーレスなワークフローオーケストレーションサービス
- 複雑なデータパイプラインやETLプロセスを容易に構築・管理できる
- ワークフロー定義、実行、モニタリング

- ユースケース
    - **データパイプラインのオーケストレーション:** データの抽出、変換、ロード (ETL) プロセスを自動化します
    - **ビジネスプロセスの自動化:** 注文処理、在庫管理、顧客対応などのビジネスプロセスを自動化します
    - **マイクロサービスのオーケストレーション:** 複数のマイクロサービスを連携させて、複雑なアプリケーションを構築します
    - **CI/CD パイプラインの構築:** アプリケーションのビルド、テスト、デプロイを自動化します
    - **機械学習パイプラインの管理:** 機械学習モデルのトレーニング、評価、デプロイを自動化します

### Analytics Hub
https://cloud.google.com/bigquery/docs/analytics-hub-introduction?hl=ja

- 組織の境界を越えてデータと分析情報を大規模に共有できるデータ交換プラットフォーム
- データ共有をセキュアかつ容易にするサービス
- データプロバイダーはデータをリスト化し、データコンシューマーは簡単にアクセスできる

- データガバナンスとデータ共有のベストプラクティス
- Analytics Hubの利用方法

## マルチクラウドデータ分析を実現するBigQuery Omni
### BigQuery Omni
https://cloud.google.com/bigquery/docs/omni-introduction?hl=ja

- マルチクラウド分析サービス
- AWSやAzureなど、複数のクラウド環境でBigQueryを利用できる
- BigQuery Omniのアーキテクチャ
- ユースケース
- パフォーマンス
- AWSのS3データやMicrosoft AzureのBlob Storageデータへの安全な接続
- BigQueryのユーザーインターフェースを使用したクロスクラウドデータクエリ
- クロスクラウド転送機能による効率的なデータ移動

## データレイクの進化形、BigLake
### BigLake
https://cloud.google.com/bigquery/docs/biglake-intro?hl=ja

- サーバーレスなデータレイクストレージエンジン
- オープンフォーマットのデータを保存・分析し、データサイロを解消する

- メタデータキャッシュによってクエリパフォーマンスを向上させることができる

## PostgreSQL互換のフルマネージドデータベース、AlloyDB
### AlloyDB
https://cloud.google.com/alloydb/docs/overview

- PostgreSQL互換のフルマネージドデータベースサービス
- 標準的なPostgreSQLに比べて最大4倍のスループット、100倍高速なレイテンシ
- 高可用性（99.99%のSLA）と高速メンテナンス
- 機械学習を応用した運用管理の自動化
- ミッションクリティカルなワークロードにも対応できる
- 従来のPostgreSQLと比較したAlloyDBの利点、パフォーマンス特性、運用管理方法