【GoogleCloudを学ぶ】Google Cloudによるデータトランスフォーメーションの探求

# はじめに

AWSエンジニアによるGoogle Cloud学習シリーズを公開していきたいと思います。
筆者のレベルとしては、AWS上での開発経験は数年あり、パブリッククラウドの理解は十分にありますが、Google Cloud/Azureはまったく触ったことがありません。
まずは、Google Cloud認定試験の[「Cloud Digital Leader」認定試験ガイド](https://cloud.google.com/learn/certification/guides/cloud-digital-leader?hl=ja)をベースに学習し、「Cloud Digital Leader」を取得出来るレベルの知識を習得したいと思います。

# Google Cloudによるデータトランスフォーメーションの探求

認定試験ガイドのセクション２「Google Cloud によるデータ トランスフォーメーションの探求」は、試験内容の約１６％を占める内容となります。

セクション内で大きく以下の３つの項に分けられています。
- データの価値
    - 組織のデジタルトランスフォーメーションにおいてデータが果たす役割について説明する
- Google Cloudのデータマネジメントソリューション
    - ビジネス上のさまざまなユースケースに対し、どのGoogle Cloudデータマネジメントプロダクトを利用すべきかを決定する
- データを有用かつアクセス可能にする
    - スマートアナリティクス、ビジネスインテリジェンスツール、ストリーミング分析がさまざまなビジネスユースケースに価値をもたらす仕組みを検証する

各項について簡潔にまとめて整理していきます。

## データの価値

組織のデジタルトランスフォーメーションにおいてデータが果たす役割について説明する

:::note info
データによってどのようにビジネスインサイトが生まれ、意思決定が促され、新しい価値が創出されるかを説明する
:::
```mermaid
flowchart TB
    subgraph Step1[1.データ収集]
        direction LR
        A1[内部データ] --- A2[外部データ] --- A3[運用データ]
    end

    subgraph Step2[2.データ分析]
        direction LR
        B1[データクレンジング・統合] --- B2[分析・可視化]
    end

    subgraph Step3[3.インサイト創出]
        direction LR
        C1[パターン発見] --- C2[予測モデル構築]
    end

    subgraph Step4[4.意思決定]
        direction LR
        D1[戦略策定] --- D2[アクション計画]
    end

    subgraph Step5[5.ビジネス価値創出]
        direction LR
        E1[収益向上] --- E2[コスト削減] --- E3[顧客満足度向上]
    end

    Step1 ==> Step2
    Step2 ==> Step3
    Step3 ==> Step4
    Step4 ==> Step5
    
    Step5 -.->|継続的改善| Step1

    style Step1 fill:#2c3e50,stroke:#3498db,color:#ffffff
    style Step2 fill:#2c3e50,stroke:#2ecc71,color:#ffffff
    style Step3 fill:#2c3e50,stroke:#e74c3c,color:#ffffff
    style Step4 fill:#2c3e50,stroke:#f1c40f,color:#ffffff
    style Step5 fill:#2c3e50,stroke:#9b59b6,color:#ffffff
```

- データを活用したビジネス価値創出プロセス
    - 収集したさまざまなデータをクレジング・統合し、分析/可視化することで、新しい気付きを得る
    - 新しい気付きに対して、仮説・検証を実施し、結果を受けての意思決定を行う
    - 戦略策定を経てビジネス価値の創出を行う
    - 継続的にデータ収集を行い、改善を推進する
- ビジネスインサイトとは
    - ビジネスに関する深い洞察のこと
- データクレンジングとは
    - データの誤記や未入力・重複などの不備を修正し、データの正確性を高める作業のこと

:::note info
データマネジメントの基本的な各種コンセプトの違いについて説明する
（特にデータベース、データウェアハウス、データレイク）
:::
| 比較項目 | データベース（DB） | データウェアハウス（DWH） | データレイク |
|---------|------------------|----------------------|------------|
| **主な目的** | 日常的なビジネス操作の記録とトランザクション処理 | データの統合と分析、経営判断のための情報提供 | あらゆる形式のデータ保存と高度な分析への対応 |
| **データ構造** | 厳格な構造（スキーマ定義が必須） | 分析用に最適化された構造 | 構造不要（スキーマ・オン・リード） |
| **データ形式** | 構造化データのみ | 主に構造化データ | 全ての形式（構造化/半構造化/非構造化） |
| **更新頻度** | リアルタイム | 定期的（バッチ処理） | 随時（追加のみが基本） |
| **処理速度** | 高速 | 中速 | 状況による（要処理時に依存） |
| **主なユースケース** | - 業務システム<br>- Webアプリケーション<br>- 顧客管理システム | - ビジネスインテリジェンス<br>- レポーティング<br>- トレンド分析<br>- KPI管理 | - 機械学習<br>- ビッグデータ分析<br>- データサイエンス<br>- 予測分析 |
| **データ品質** | 高（整合性重視） | 高（クレンジング済） | 様々（生データ含む） |
| **コスト効率** | 中程度 | 高コスト | 比較的低コスト |
| **拡張性** | 限定的 | 中程度 | 高い |
| **アクセス方法** | SQL（主にCRUD操作） | SQL（主に参照・集計） | 様々な分析ツール |
| **主な特徴** | - ACID特性<br>- 高速な読み書き<br>- トランザクション管理 | - データの統合<br>- 履歴データの保持<br>- 最適化された分析用スキーマ | - 柔軟な保存形式<br>- 大規模データ対応<br>- 将来用途に備えた保存 |
| **Google Cloud製品例** | - Cloud SQL<br>- Cloud Spanner<br>- Firestore | - BigQuery<br>- Cloud SQL for Large Scale | - Cloud Storage<br>- Dataproc<br>- Cloud Composer |
| **利用シーン** | - オンライントランザクション処理<br>- リアルタイムデータ処理<br>- アプリケーションバックエンド | - データ分析<br>- 経営レポート作成<br>- データマート構築<br>- 傾向分析 | - 機械学習モデル開発<br>- 非構造化データ分析<br>- 将来の分析用データ保存 |
| **データ容量** | 比較的小～中規模 | 大規模 | 超大規模 |

- ３つのデータマネジメントシステムの特徴
    - データベース（DB）
        - トランザクション処理に最適
        - リアルタイムの処理が必要な場面で使用
        - 厳格なデータ構造管理が特徴
    - データウェアハウス（DWH）
        - 特定の目的のため処理されフィルタリングされた構造化データを格納
        - 分析とレポーティングに最適
        - 統合されたデータの履歴管理
        - ビジネスインテリジェンス向けに最適化
    - データレイク
        - 柔軟なデータ保存と分析に最適
        - あらゆる形式のデータを格納可能
        - 将来の分析ニーズにも対応可能
- スキーマオンリードとは
    - Schema on Read
    - ローデータのまま保存し、スキーマ(構造)は読み込むさいに必要に応じて整形する

:::note info
組織が既存のデータを使用したり、新しいデータを収集したり、データを外部から調達したりして価値を創出する方法について説明する
:::
```mermaid
flowchart LR
    subgraph 既存["既存データの活用"]
        direction TB
        E1[業務システムデータ]
        E2[顧客データ]
        E3[取引データ]
    end

    subgraph 新規["新規データの収集"]
        direction TB
        N1[IoTセンサー]
        N2[アンケート]
        N3[ログデータ]
    end

    subgraph 外部["外部データの調達"]
        direction TB
        O1[市場データ]
        O2[オープンデータ]
        O3[パートナーデータ]
    end

    subgraph 分析["データ分析・活用"]
        direction TB
        A1[データ統合・加工]
        A2[分析・モデル化]
        A3[意思決定への活用]
    end

    subgraph 価値["価値創出例"]
        direction TB
        V1[業務効率化]
        V2[新規サービス]
        V3[収益向上]
    end

    既存 --> 分析
    新規 --> 分析
    外部 --> 分析
    分析 --> 価値

    style 既存 fill:#2c3e50,stroke:#3498db,color:#ffffff
    style 新規 fill:#2c3e50,stroke:#2ecc71,color:#ffffff
    style 外部 fill:#2c3e50,stroke:#f1c40f,color:#ffffff
    style 分析 fill:#2c3e50,stroke:#e74c3c,color:#ffffff
    style 価値 fill:#2c3e50,stroke:#9b59b6,color:#ffffff

    style E1 fill:#34495e,stroke:#3498db,color:#ffffff
    style E2 fill:#34495e,stroke:#3498db,color:#ffffff
    style E3 fill:#34495e,stroke:#3498db,color:#ffffff
    
    style N1 fill:#34495e,stroke:#2ecc71,color:#ffffff
    style N2 fill:#34495e,stroke:#2ecc71,color:#ffffff
    style N3 fill:#34495e,stroke:#2ecc71,color:#ffffff
    
    style O1 fill:#34495e,stroke:#f1c40f,color:#ffffff
    style O2 fill:#34495e,stroke:#f1c40f,color:#ffffff
    style O3 fill:#34495e,stroke:#f1c40f,color:#ffffff
    
    style A1 fill:#34495e,stroke:#e74c3c,color:#ffffff
    style A2 fill:#34495e,stroke:#e74c3c,color:#ffffff
    style A3 fill:#34495e,stroke:#e74c3c,color:#ffffff
    
    style V1 fill:#34495e,stroke:#9b59b6,color:#ffffff
    style V2 fill:#34495e,stroke:#9b59b6,color:#ffffff
    style V3 fill:#34495e,stroke:#9b59b6,color:#ffffff
```
- 既存データの活用
    - 業務システムデータ、顧客データ、取引データ など
    - 既存システム上で管理されているデータ
- 新しいデータの収集
    - センサを設置しIoTデータの収集
    - 新規アンケートによる収集
    - ログデータの収集
- 外部データの調達
    - 市場データ活用
        - 特定の業界や市場セグメントに関する情報や統計データ
    - オープンデータ活用
        - 誰でも許可されたルールの範囲内で自由に複製・加工や頒布などができるデータ
    - サードパーティーデータ活用
        - 外部システムからAPI等で取得できるデータ

:::note info
クラウドが、構造化データや手つかずの非構造化データなどのあらゆるタイプのデータからビジネス価値を引き出す仕組みについて説明する
:::
クラウドは様々なタイプのデータを効率的に収集、保管、分析し、ビジネス価値を創出するための包括的なプラットフォームを提供している。組織は必要に応じて適切なサービスを選択し、データの価値を最大限に引き出すことができる。
```mermaid
flowchart TB
    subgraph DS["1.データソース"]
        direction LR
        D1[構造化データ] o--o D2[半構造化データ] o--o D3[非構造化データ]
    end

    subgraph IN["2.取込処理"]
        direction LR
        I1[ETL/ELT] o--o I2[ストリーミング] o--o I3[バッチ処理]
    end

    subgraph ST["3.データ保管"]
        direction LR
        S1[データウェアハウス] o--o S2[データレイク] o--o S3[ハイブリッド]
    end

    subgraph AN["4.データ分析"]
        direction LR
        A1[BI/可視化] --- A2[AI/ML] --- A3[高度分析]
    end

    subgraph VA["5.価値創出"]
        direction LR
        V1[意思決定支援] --- V2[業務最適化] --- V3[新規事業]
    end

    DS ==> IN ==> ST ==> AN ==> VA

    style DS fill:#2c3e50,stroke:#3498db,color:#ffffff
    style IN fill:#2c3e50,stroke:#2ecc71,color:#ffffff
    style ST fill:#2c3e50,stroke:#f1c40f,color:#ffffff
    style AN fill:#2c3e50,stroke:#e74c3c,color:#ffffff
    style VA fill:#2c3e50,stroke:#9b59b6,color:#ffffff

    style D1 fill:#34495e,stroke:#3498db,color:#ffffff
    style D2 fill:#34495e,stroke:#3498db,color:#ffffff
    style D3 fill:#34495e,stroke:#3498db,color:#ffffff
    
    style I1 fill:#34495e,stroke:#2ecc71,color:#ffffff
    style I2 fill:#34495e,stroke:#2ecc71,color:#ffffff
    style I3 fill:#34495e,stroke:#2ecc71,color:#ffffff
    
    style S1 fill:#34495e,stroke:#f1c40f,color:#ffffff
    style S2 fill:#34495e,stroke:#f1c40f,color:#ffffff
    style S3 fill:#34495e,stroke:#f1c40f,color:#ffffff
    
    style A1 fill:#34495e,stroke:#e74c3c,color:#ffffff
    style A2 fill:#34495e,stroke:#e74c3c,color:#ffffff
    style A3 fill:#34495e,stroke:#e74c3c,color:#ffffff
    
    style V1 fill:#34495e,stroke:#9b59b6,color:#ffffff
    style V2 fill:#34495e,stroke:#9b59b6,color:#ffffff
    style V3 fill:#34495e,stroke:#9b59b6,color:#ffffff
```
- 各段階の主なGoogle Cloudサービス
    - データソース
        - 構造化：Cloud SQL
        - 半構造化：Cloud Firestore
        - 非構造化：Cloud Storage
    - 取込処理
        - ETL：Cloud Data Fusion
        - ストリーミング：Pub/Sub
        - バッチ：Dataproc
    - データ保管
        - データウェアハウス：BigQuery
        - データレイク：Cloud Storage
        - ハイブリッド：両者併用
    - データ分析
        - BI/可視化：Looker
        - AI/ML：Vertex AI
        - 高度分析：BigQuery ML
　
- クラウドを活用する利点
    - スケーラビリティ
        - 柔軟な要領拡張
        - 処理能力の調整
    - 先進技術の活用
        - 最新AI/ML技術
        - セキュリティ機能
        - 高度な分析ツール
    - 運用効率
        - 管理の簡素化
        - 自動化の促進
        - リソース最適化
    - コスト効率
        - 従量課金制
        - 初期投資抑制
        - リソース最適化

:::note info
データバリューチェーンの主なコンセプトと用語について説明する
:::
- データバリューチェーンとは
    - データ利活用の上流から下流までの流れを表し、データ活用戦略の策定から、データの収集、分析、活用、そして価値創造へと繋がる一連のプロセスのこと
    - ビジネスにおいてデータを有効に活用することで付加価値を生み出す重要な流れ

```mermaid
flowchart TB
    subgraph S1["1.戦略策定"]
        direction LR
        ST1[ビジネス戦略] --- ST2[活用方針] --- ST3[目標設定]
    end

    subgraph S2["2.データ収集"]
        direction LR
        DC1[ソース特定] --- DC2[収集] --- DC3[蓄積]
    end

    subgraph S3["3.データ整理"]
        direction LR
        DP1[クレンジング] --- DP2[前処理] --- DP3[統合]
    end

    subgraph S4["4.可視化"]
        direction LR
        DV1[グラフ化] --- DV2[ダッシュボード] --- DV3[分析]
    end

    subgraph S5["5.分析"]
        direction LR
        DA1[AI/ML] --- DA2[予測] --- DA3[洞察]
    end

    subgraph S6["6.活用"]
        direction LR
        DU1[業務改善] --- DU2[最適化] --- DU3[価値創出]
    end

    subgraph S7["7.モニタリング"]
        direction LR
        MO1[効果測定] --- MO2[改善] --- MO3[フィードバック]
    end

    S1 ==> S2 ==> S3 ==> S4 ==> S5 ==> S6 ==> S7
    S7 -.->|改善サイクル| S1

    %% メイングループのスタイル
    style S1 fill:#2c3e50,stroke:#3498db,color:#fff
    style S2 fill:#2c3e50,stroke:#2ecc71,color:#fff
    style S3 fill:#2c3e50,stroke:#f1c40f,color:#fff
    style S4 fill:#2c3e50,stroke:#e74c3c,color:#fff
    style S5 fill:#2c3e50,stroke:#9b59b6,color:#fff
    style S6 fill:#2c3e50,stroke:#1abc9c,color:#fff
    style S7 fill:#2c3e50,stroke:#94495e,color:#fff

    %% サブノードのスタイル
    classDef strategy fill:#34495e,stroke:#3498db,color:#fff
    classDef collect fill:#34495e,stroke:#2ecc71,color:#fff
    classDef process fill:#34495e,stroke:#f1c40f,color:#fff
    classDef visual fill:#34495e,stroke:#e74c3c,color:#fff
    classDef analyze fill:#34495e,stroke:#9b59b6,color:#fff
    classDef utilize fill:#34495e,stroke:#1abc9c,color:#fff
    classDef monitor fill:#34495e,stroke:#94495e,color:#fff

    class ST1,ST2,ST3 strategy
    class DC1,DC2,DC3 collect
    class DP1,DP2,DP3 process
    class DV1,DV2,DV3 visual
    class DA1,DA2,DA3 analyze
    class DU1,DU2,DU3 utilize
    class MO1,MO2,MO3 monitor
```
- データバリューチェーンの主な用語

| カテゴリ | 用語 | 説明 |
|---------|------|------|
| **データ収集** | ETL | Extract（抽出）、Transform（変換）、Load（読込）の一連のプロセス |
| | ELT | Extract（抽出）、Load（読込）、Transform（変換）の順での処理 |
| | ストリーミング | リアルタイムでの継続的なデータ処理 |
| | バッチ処理 | 一定量のデータをまとめて定期的に処理 |
| **データ保管** | DWH | データウェアハウス。分析用に最適化されたデータ保管庫 |
| | データレイク | 様々な形式のデータを格納できる大規模データ貯蔵庫 |
| | データマート | 特定の部門や目的のために最適化された小規模DWH |
| **データ品質** | クレンジング | データの洗浄・整形処理 |
| | データガバナンス | データの可用性、整合性、セキュリティを確保する管理体制 |
| | カタログ管理 | データ資産の一覧とメタデータの管理 |
| **データ分析** | BI | ビジネスインテリジェンス。データを活用した意思決定支援 |
| | AI/ML | 人工知能/機械学習による高度な分析 |
| | 予測分析 | 将来の傾向や結果を予測する分析手法 |
| **データ活用** | KPI | 重要業績評価指標 |
| | ROI | 投資収益率 |
| | モニタリング | 継続的な監視と評価 |
| **組織・人材** | CDO | Chief Data Officer（データ戦略責任者） |
| | データサイエンティスト | データ分析の専門家 |
| | データエンジニア | データ基盤の構築・運用担当者 |
| **セキュリティ** | アクセス制御 | データへのアクセス権限管理 |
| | 暗号化 | データの機密性を保護する技術 |
| | 監査ログ | データアクセスや操作の記録 |


:::note info
データジャーニーを成功に導くためのデータガバナンスの重要性について説明する
:::
- データガバナンスとは
    - データの可用性、完全生、セキュリティを確保するための包括的な管理体制のこと
- 重要性
    - データ品質の確保
        - 正確で信頼性の高いデータ分析を実現
        - 一貫性のあるデータ管理による意思決定の質向上
        - 品質基準の設定と継続的なモニタリング
    - セキュリティとコンプライアンス
        - データセキュリティの確保による情報漏洩の防止
        - 法規制への適切な対応
        - アクセス管理とデータ保護の実施
    - 効率的な運用
        - 標準化されたプロセスによる効率向上
        - 明確な役割分担と責任の所在
        - データライフサイクル全体の適切な管理
    - 価値創出の促進
        - データの活用機会の最大化
        - 部門間でのデータ共有と活用の促進
        - イノベーションの基盤となる信頼性の確保

**適切なデータガバナンスの実施により、組織はデータから最大の価値を引き出し、持続可能なデータ活用を実現することができる。**


## Google Cloudのデータマネジメントソリューション

ビジネス上のさまざまなユースケースに対し、どのGoogle Cloudデータマネジメントプロダクトを利用すべきかを決定する。

:::note info
データのタイプや一般的なビジネスユースケースなどの観点から、Google Cloudの各種データマネジメントオプションの違いについて説明する（Cloud Storage、Cloud Spanner、Cloud SQL、Cloud Bigtable、BigQuery、Firestore など）
:::
| サービス | 説明 | データタイプ | 主なユースケース | 特徴 | 適用例 |
|---------|------|------------|----------------|------|--------|
| **Cloud Storage** | オブジェクトストレージサービス。あらゆる種類のデータを保存できる高耐久性のストレージ | ・非構造化データ<br>・オブジェクト<br>・バイナリ | ・データレイク<br>・メディアコンテンツ<br>・バックアップ | ・高い拡張性<br>・耐久性<br>・低コスト | ・画像/動画保存<br>・ログ保管<br>・静的ウェブホスティング |
| **Cloud SQL** | フルマネージドのリレーショナルデータベース。MySQL、PostgreSQL、SQL Serverをサポート | ・構造化データ<br>・リレーショナル | ・Webアプリ<br>・CRM<br>・eコマース | ・フルマネージド<br>・高可用性<br>・容易な移行 | ・ユーザー管理<br>・商品カタログ<br>・注文管理 |
| **Cloud Spanner** | グローバルに分散可能な、無制限にスケーラブルなリレーショナルデータベース | ・構造化データ<br>・リレーショナル | ・ミッションクリティカル<br>・グローバル展開<br>・大規模トランザクション | ・無制限のスケール<br>・強い整合性<br>・グローバル分散 | ・金融システム<br>・在庫管理<br>・グローバルサービス |
| **Cloud Bigtable** | 大規模なワークロードに対応する、フルマネージドの非リレーショナルデータベース | ・半構造化データ<br>・キーバリュー | ・IoTデータ<br>・時系列データ<br>・大規模分析 | ・低レイテンシー<br>・高スループット<br>・大規模スケール | ・センサーデータ<br>・金融取引<br>・広告データ |
| **BigQuery** | サーバーレスのエンタープライズデータウェアハウス。大規模データの分析に最適 | ・構造化/半構造化データ<br>・分析用データ | ・データ分析<br>・BIレポート<br>・機械学習 | ・サーバーレス<br>・高速クエリ<br>・ML統合 | ・データ分析基盤<br>・売上分析<br>・予測モデル |
| **Firestore** | スケーラブルな NoSQL クラウドデータベース。モバイル、Web、IoTアプリケーション向け | ・半構造化データ<br>・ドキュメント | ・モバイルアプリ<br>・リアルタイム同期<br>・オフライン対応 | ・リアルタイム更新<br>・自動スケール<br>・オフラインサポート | ・チャットアプリ<br>・ゲーム<br>・モバイルアプリ |

#### 主な選択基準

- パフォーマンス要件による選択
    - 低レイテンシー要件
      - 超低：Bigtable
      - 低：Cloud Spanner, Cloud SQL
      - 分析用：BigQuery
    - スケーラビリティ要件
      - グローバル：Cloud Spanner
      - 大規模：Bigtable
      - 自動：Firestore
　
- データ特性による選択
    - データ構造
      - リレーショナル：Cloud SQL, Cloud Spanner
      - NoSQL：Firestore, Bigtable
      - 非構造化：Cloud Storage
    - データ量
      - TB級以上：BigQuery, Bigtable
      - GB〜TB：Cloud Spanner
      - MB〜GB：Cloud SQL, Firestore
　
- ユースケースによる選択
    - アプリケーションタイプ
      - Webアプリ：Cloud SQL
      - モバイルアプリ：Firestore
      - 分析システム：BigQuery
    - 整合性要件
      - 強整合性：Cloud Spanner
      - トランザクション：Cloud SQL
      - 結果整合性：Firestore
　
- 運用要件による選択
    - 管理負荷
      - 最小：BigQuery（サーバーレス）
      - 中程度：Cloud SQL（マネージド）
      - カスタム：Bigtable
    - コスト効率
      - 低コスト保存：Cloud Storage
      - 従量課金：BigQuery
      - 性能比例：Cloud Spanner

:::note info
データマネジメントに関する主なコンセプトと用語を定義する（リレーショナル、非リレーショナル、オブジェクト ストレージ、構造化クエリ言語（SQL）、NoSQL など）。
:::
| カテゴリ | 用語 | 定義 | 特徴 | 一般的な用途 |
|---------|------|------|------|------------|
| **データベースタイプ** | リレーショナル | テーブル形式で関連データを管理するデータベース | ・行と列の構造<br>・テーブル間の関連付け<br>・ACID特性 | ・業務システム<br>・在庫管理<br>・会計システム |
| | 非リレーショナル(NoSQL) | 柔軟なスキーマでデータを管理する非構造化データベース | ・スキーマレス<br>・高い拡張性<br>・柔軟な構造 | ・Webアプリ<br>・IoTデータ<br>・ログ管理 |
| | オブジェクトストレージ | 大規模なバイナリデータを管理するストレージシステム | ・高い耐久性<br>・容量無制限<br>・低コスト | ・画像/動画<br>・バックアップ<br>・アーカイブ |
| **クエリ言語** | SQL | 構造化クエリ言語。リレーショナルDBの操作に使用 | ・標準化された文法<br>・宣言的言語<br>・高い可読性 | ・データ検索<br>・データ更新<br>・集計処理 |
| | NoSQL クエリ | 非リレーショナルDBで使用される様々なクエリ方式 | ・DB固有の文法<br>・柔軟な検索<br>・高速処理 | ・キーバリュー検索<br>・ドキュメント検索 |
| **データモデル** | キーバリュー | シンプルなキーと値のペアでデータを格納 | ・高速アクセス<br>・シンプル構造<br>・大規模対応 | ・セッション管理<br>・キャッシュ<br>・設定情報 |
| | ドキュメント | JSONライクな形式でデータを格納 | ・柔軟なスキーマ<br>・階層構造<br>・豊富なクエリ | ・コンテンツ管理<br>・カタログ<br>・プロフィール |
| | カラム指向 | 列単位でデータを格納し、高速な集計を実現 | ・高速な集計<br>・圧縮効率<br>・分析最適化 | ・ログ分析<br>・時系列データ<br>・センサーデータ |
| | グラフ | ノードとエッジでデータ間の関係を表現 | ・関係性の表現<br>・柔軟な探索<br>・パス分析 | ・ソーシャルグラフ<br>・推薦システム<br>・ネットワーク分析 |

#### データベース特性の比較
| データベースタイプ | 長所 | 短所 |
| ------------------ | ---- | ---- |
| リレーショナルデータベース | データの一貫性保証、複雑な結合クエリ、トランザクション管理 | スケーラビリティの制限、スキーマ変更の難しさ、高コスト |
| NoSQLデータベース | 高いスケーラビリティ、柔軟なスキーマ、高パフォーマンス | 結合操作の制限、トランザクション制限、データ一貫性の複雑さ |
| オブジェクトストレージ | 無制限の容量、高い耐久性、コスト効率 | クエリ機能の制限、アクセス速度、トランザクション非対応 |

:::note info
BigQuery をマルチクラウド環境で使用可能なサーバーレスマネージドデータウェアハウス兼分析エンジンとして使用するメリットについて説明する。
:::

以下のようなメリットにより、BigQueryは特にマルチクラウド環境において、効率的なデータ分析基盤として機能する。

- サーバーレスアーキテクチャ
    - インフラストラクチャの管理が不要
    - システムの設定や保守作業が不要
    - 自動スケーリングによる柔軟な対応
　
- コスト効率
    - 使用した分だけの従量課金制
    - ストレージとクエリを分離した料金体系
    - 必要な時だけリソースを使用可能
　
- 高性能
    - ペタバイト規模のデータを高速に処理
    - 並列処理による効率的な分析
    - リアルタイムデータの分析が可能
　
- マルチクラウド対応
    - 異なるクラウド間でのデータ連携が容易
    - ベンダーロックインを回避
    - 既存のデータ資産を活用可能
　
- 使いやすさ
    - 標準SQLによる操作
    - 直感的なGUIツールの提供
    - APIによる柔軟な連携
　
- セキュリティ
    - 詳細なアクセス制御
    - データの自動暗号化
    - 包括的な監査ログ機能

:::note info
Cloud Storage の各ストレージ クラスの違いについて、費用とアクセス頻度の観点から説明する（Standard、Nearline、Coldline、Archive など）。
:::
| ストレージクラス | 用途 | 最小保存期間 | アクセス頻度 | 取得料金 | 保存料金 |
| --------------- | ---- | ------------ | ------------ | -------- | ------------ |
| Standard | アクティブデータや頻繁なアクセス | なし | 高頻度(常時アクセス） | なし | 最も高い |
| Nearline | 短期バックアップ、読み取り/変更が少ないデータ | 30日 | 月1回程度 | 取得時に料金発生 | Standardの約50% |
| Coldline | 長期バックアップ、災害復旧データ | 90日 | 四半期に1回程度 | 取得時に高額な料金 | Standardの約30% |
| Archive | 長期保管、アクセスが極めて少ないデータ | 365日 | 年1回以下 | 取得時に最も高額な料金 | Standardの約20% |

#### 選択基準
- データアクセスの頻度に基づく選択
    - 頻繁なアクセス → Standard
    - 月1回程度 → Nearline
    - 四半期に1回 → Coldline
    - 年1回以下 → Archive
　
- コスト最適化の観点
    - 保存コスト：Archive < Coldline < Nearline < Standard
    - 取得コスト：Standard < Nearline < Coldline < Archive
　
- アクセス要件による選択
    - 即時アクセス必要 → Standard
    - 数時間以内のアクセス許容 → Archive

:::note info
組織の既存のデータベースをクラウドに移行したりモダナイズしたりするための方法について説明する。
:::

#### 移行アプローチ
- リホスト（Lift & Shift）
    - オンプレミスDBをそのままクラウドに移行
    - 最小限の変更で迅速な実施が可能
    - コスト最適化は限定的
　
- リプラットフォーム（Lift & Optimize）
    - クラウドの機能を部分的に活用
    - パフォーマンスとコストを最適化
    - 中程度の工数が必要
　
- リファクタリング（Modernize）
    - クラウドネイティブな設計への完全移行
    - 最大限のクラウドメリットを実現
    - 大規模な工数が必要

#### Google Cloudのツール
- 移行サービス
    - Database Migration Service：データベースの移行を自動化するマネージドサービス
    - Storage Transfer Service：大規模データの効率的な転送サービス
    - Transfer Appliance：物理デバイスによる大容量データ転送サービス
　
- データベースサービス
    - Cloud SQL：MySQL、PostgreSQL、SQL Serverのマネージドサービス
    - Cloud Spanner：無制限にスケーラブルな整合性のあるリレーショナルDB
    - Firestore：スケーラブルなNoSQLドキュメントデータベース
　
- データ処理・分析
    - BigQuery：大規模データ分析のためのサーバーレスデータウェアハウス
    - Dataflow：ストリームおよびバッチデータ処理のパイプライン
    - Cloud Data Fusion：コードを書かずにデータパイプラインを構築

## データを有用かつアクセス可能にする

スマートアナリティクス、ビジネスインテリジェンスツール、ストリーミング分析がさまざまなビジネスユースケースに価値をもたらす仕組みを検証する。

:::note info
Looker を使用してユーザーが独自にビジネスインテリジェンスを利用し、インサイトを生成することで、誰もがデータにアクセスできるようになる仕組みについて説明する。
:::
- Lookerとは
    - Googleが提供するクラウドベースのビジネスインテリジェンス(BI)プラットフォーム
    - データを可視化し、分析するためのツール
    - 2019年にGoogleがLookerを買収し、Google Cloudのサービスの一部になった
　
- Lookerの主な特徴
    - ブラウザベースで操作可能な直感的なインターフェース
    - リアルタイムでデータを分析・可視化
    - 柔軟なダッシュボード作成機能
    - データモデリング言語「LookML」を使用
    - 複数のデータソースに接続可能
    - BigQueryなどのGoogle Cloudサービスとの統合
    - レポートの共有
    - セキュアなデータアクセス管理
　
- LookerとLooker Studioとの違い
    - Looker Studioは個人や小規模チーム向けの無料ツール
    - Looker Studioはより基本的な機能に特化
    - Lookerは企業向けの有料BIプラットフォーム
    - Lookerはより高度なデータモデリングと分析が可能
　
- LookLMとは
    - Looker独自のデータモデリング言語
    - SQLベースの宣言的なプログラミング言語
    - データの定義、ビジネスロジック、計算式を記述するための言語
　
- Lookerを使うことで
    - 技術者以外のユーザーでもデータ分析が可能になる
    - データに基づいた意思決定を促進する
    - 組織全体のデータリテラシー向上を支援する
    - データドリブンな企業文化の醸成に貢献する

:::note info
BigQuery のデータを Looker で分析、可視化してリアルタイムのレポートやダッシュボードを作成したりデータをワークフローに統合したりする価値について説明する。
:::

- リアルタイムデータ活用
    - BigQueryの高速処理能力を活用した即時データ分析
    - 最新データに基づくダッシュボードとレポートの自動更新
    - 大規模データのインタラクティブな分析が可能
　
- 業務効率の向上
    - レポート作成の自動化
    - データ更新とアラート通知の自動化
    - ワークフローへの容易な統合
　
- 意思決定の質向上
    - リアルタイムデータに基づく迅速な判断
    - データの可視化による直感的な状況把握
    - 予測分析によるプロアクティブな対応
　
- コストとセキュリティ
    - 効率的なリソース利用によるコスト最適化
    - 統合されたセキュリティとガバナンス
    - 運用管理の簡素化

**これらの機能により、組織全体でデータを効果的に活用し、ビジネス価値を創出することができる。**

:::note info
リアルタイムでのストリーミング分析によってデータの有用性が向上し、ビジネス価値が生まれる仕組みを説明する。
:::
- データのリアルタイム処理
    - 発生時点でのデータ取得
        - センサーデータ
        - ユーザー行動データ
        - トランザクションデータ
    - 即時の分析処理
    - 遅延のない結果提供
　
- 即時のビジネスアクション
    - リアルタイムな異常検知
        - 不正取引の発見
        - システム障害の検知
        - 品質異常の把握
    - 即時の対応策実施
    - 被害の最小化
　
- 顧客体験の向上
    - パーソナライズされた推奨
    - リアルタイムな顧客対応
    - 動的な価格設定
　
- ビジネス最適化
    - 需要予測の精度向上
    - 在庫管理の効率化
    - リソース配分の最適化

**これらの例のように、ビジネスリスクの低減・顧客満足度の向上・収益機会の最大化が実現し、競争優位性を確保できる。**

:::note info
Pub/Sub、Dataflow など、データ パイプラインをモダナイズする主な Google Cloud プロダクトについて説明する。
:::

| プロダクト | 主な機能 | ユースケース |
|------------|----------|--------------|
| Pub/Sub | - フルマネージドなメッセージングサービス<br>- リアルタイムデータ配信<br>- 高い信頼性とスケーラビリティ | - イベント駆動システム<br>- リアルタイムストリーミング<br>- システム間データ連携 |
| Dataflow | - ストリーム/バッチデータ処理<br>- サーバーレスで自動スケール<br>- Apache Beam SDK利用 | - ETL処理<br>- リアルタイム分析<br>- データウェアハウス連携 |
| Cloud Storage | - オブジェクトストレージ<br>- 高い耐久性<br>- グローバルアクセス | - データレイク構築<br>- バックアップ<br>- コンテンツ配信 |
| BigQuery | - サーバーレスデータウェアハウス<br>- 高速クエリ処理<br>- 機械学習統合 | - 大規模データ分析<br>- ビジネスインテリジェンス<br>- 予測分析 |
| Cloud Composer | - Apache Airflowベース<br>- ワークフロー管理<br>- スケジュール実行 | - ETLオーケストレーション<br>- 定期的なデータ処理<br>- パイプライン管理 |
| Dataprep | - ノーコードデータ準備<br>- データクレンジング<br>- 視覚的な操作 | - データ前処理<br>- 品質チェック<br>- フォーマット変換 |

## まとめ

Google Cloudのデータマネジメントソリューションを活用することで、組織は以下を実現することできる。

- データの統合的な管理と活用
    - 様々なデータソースからの収集と統合
    - 適切なストレージ選択による効率的な保管
    - セキュアで信頼性の高いデータ基盤の構築
　
- リアルタイムデータ分析の実現
    - ストリーミング処理による即時データ活用
    - BigQueryとLookerによる高度な分析と可視化
    - データドリブンな意思決定の促進
　
- スケーラブルなデータパイプライン
    - Pub/SubとDataflowによる効率的なデータ処理
    - フルマネージドサービスによる運用負荷の軽減
    - 柔軟なワークフロー構築

これらの機能により、組織はデータの価値を最大限に引き出し、ビジネス競争力の強化とイノベーションの創出を実現することができる。