Treasure Data CDPの全体像を理解する：機能とコンポーネントの詳細ガイド

## 概要

**Treasure Data CDP** の全体像を、CDP (Customer Data Platform) の機能をベースに整理します。CDP の基本的な機能や役割については、以下の記事で詳しく解説されていますので、参照してください。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/d7365cbe-fd1d-8c36-e810-42db819be1c1.png)

引用元：[Customer Data Platform （CDP）の全貌：定義からトレンドまで #TreasureData - Qiita](https://qiita.com/manabian/items/442927a407c7d7c17700)

## Treasure Data CDP の概要

**Treasure Data CDP** は、Treasure Data 社が提供するエンタープライズ向けの **Customer Data Platform (CDP)** です。企業が顧客データを一元管理し、マーケティングや営業活動に効果的に活用するための包括的なプラットフォームを提供します。多様なデータソースからリアルタイムにデータを収集・統合し、高度な分析を行うことで、顧客の全体像を把握し、戦略的な意思決定を支援します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/27566c48-efb0-0aba-b729-69514356b6f8.png)

引用元：[Platform Overview - カスタマーデータプラットフォームの概要 – トレジャーデータ](https://www.treasuredata.co.jp/platform-overview/)

Treasure Data では、契約内容に基づいてデータ利用に関するキャパシティ上限が設定されています。このキャパシティ上限により契約金額が変動するため、コストの最適化を図る上で重要な観点となります。全データを対象とした大規模な処理を頻繁に行う場合、想定外のコスト増加の要因となる可能性があります。不要なデータの削除やデータ容量の管理を行うために、[partial_delete Syntax](https://docs.treasuredata.com/articles/#!pd/partial-deletion-syntax/a/h1__1964341549) 機能などを活用することが推奨されます。

| 指標名                          | 内容                                                                 |
| ------------------------------- | -------------------------------------------------------------------- |
| インポート件数              | インポートするデータレコードの総数。                           |
| 総保管件数                      | Treasure Data に保管される全データレコードの総数。                   |
| ユニークプロファイル数          | Audience Studio で使用するユーザープロファイル数。                  |
| 外部連携プロファイル数      | Activation により外部ツールへ連携したプロファイルの件数と回数に基づく数値。           |
| Web Personalization API コール数 | Web Personalization API でセグメントを取得する API コールの回数（オプション機能）。 |

キャパシティ上限の詳細については、下記の記事を参照し、契約内容を確認することをお勧めします。

- [Treasure Data CDP の契約のキャパシティについて - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/howto/0117)

キャパシティの利用状況は、**Utilization ダッシュボード**にて確認できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/004164d6-aafe-9684-301d-3d7cc4cec3d1.png)

引用元：[Accessing your Data Utilization Dashboard](https://docs.treasuredata.com/articles/#!pd/accessing-your-data-utilization-dashboard)

## Treasure Data CDP のコンポーネント

Treasure Data CDP は、多様な機能とコンポーネントで構成されています。以下の表に、CDP の主要な機能と、それに対応する Treasure Data CDP のコンポーネントを整理しました。

| 機能名                                   | Treasure Data CDP のコンポーネント                                                    |
| ---------------------------------------- | ------------------------------------------------------------------------------------- |
| バッチインジェスト機能                   | - Treasure Data Integrations(Import Integration)<br>- Easy Sync<br>- Embulk<br>- TD Toolbelt             |
| リアルタイムインジェスト機能             | - Web Tracking<br>- Fluentd                                                          |
| ライブ接続機能                           | - Zero-Copy                                                                           |
| データベース機能                         | - PlazmaDB<br>- Datatank                                                              |
| データ統合機能                           | - Trino (Presto)<br>- Hive                                                            |
| カスタマープロファイル統一機能           | - ID Unification                                                                      |
| カスタマーセグメンテーション機能         | - Master Segments<br>- Audience Studio<br>- Journey Orchestration                     |
| 可視化機能（BI 機能）                    | - Treasure Insights<br>- Segment Insights Dashboard                                                                   |
| 統計解析機能                             | - Predictive Scoring<br>- AutoML<br>- PrecisionML<br>- Hivemall<br>- Custom Scripts   |
| アクティベーション機能（データ連携機能） | - Activation |
| データ提供機能                           | - Hive のエンドポイント機能<br>- Trino (Presto) のエンドポイント機能<br>- Datatank のエンドポイント機能<br>- pyTD<br>- td-spark<br>- TD-API<br>- TD Toolbelt<br>- Embulk |
| AI 支援機能                              | - Treasure Data AI Framework                                   |
| データクリーンルーム機能                 | - **機能を未確認**                                                                    |
| データカタログ機能（顧客データ管理機能） | - **機能あり（明確な機能名を確認できず）**                                            |
| オーケストレーション機能                 | - Treasure Workflow                                                                   |
| ユーザープライバシー機能                 | - Treasure Data Trust for CDP                                                         |

## コンポーネントの詳細

### 全体像

Treasure Data CDP のコンポーネントを概念モデルにマッピングする際、次のいくつかの図を参考にしました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/380e3794-f821-ae3d-e74e-138a4387d4c9.png)

引用元：[Treasure Data CDP の特徴 - CDP（カスタマーデータプラットフォーム）の Treasure Data](https://www.treasuredata.co.jp/product/)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/f58e0285-7f26-5d08-c1ed-bcca9a032a06.png)

引用元：[203: Workflow (JA)](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/203-workflow-ja-raw-TDPHIVqv/#/lessons/IVroVsmTDtX_u2jD7Hqx6tgVbzsk33B4)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/e3354e6e-1d01-b32f-7fc3-e912fdafe971.png)

引用元：[td-spark API Documentation](https://treasure-data.github.io/td-spark/)

Treasure Data 社が考える CDP の全体像は、以下のサイトで整理されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/7bdb0324-a7d2-8c2a-861f-03412e0e40a5.png)

引用元：[CDP の基礎知識 - CDP（カスタマーデータプラットフォーム）の Treasure Data](https://www.treasuredata.co.jp/cdp-guide/)

Treasure Data CDP 内のデータアーキテクチャは以下の図で示されています。ソースシステムからデータ取得後、**Raw Data → Element Data → Master Segment Data → Segment Data** という順に処理を実施し、マーケティングサービスに連携します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/b06a42b9-ed5a-4f32-aa93-321512287077.png)

引用元：[CDPから広告配信ソリューションへの連携について - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/howto/0106?utm_source=chatgpt.com)

**Element Data** では、以下の 3 つのデータを管理することが前提となっています。これらのデータを適切に構築できるかどうかが、CDP を効果的に活用する鍵となります。詳しい内容については、公式ドキュメントをご参照ください。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/44df70da-b1c7-0d29-2382-0724963a9ab0.png)

引用元：[Overview of Parent Segments](https://docs.treasuredata.com/articles/#!pd/overview-of-master-segments)

### バッチインジェスト機能

バッチインジェストの方法として、以下の機能が提供されています。特に、**Treasure Data Integrations** が多く利用され、Treasure Data CDP 内のデータ統合機能を活用します。

- **Treasure Data Integrations(Import Integration)**
- **Embulk**
- **Easy Sync**
- **TD Toolbelt**

**Treasure Data Integrations**は、Treasure Data CDP において提供されるデータ統合機能の一つであり、特に Import Integration はバッチインジェスト機能に該当します。この機能については、対応するコネクタの詳細が以下のドキュメントに記載されています。さまざまなデータソースと連携が可能で、特にマーケティング活動におけるデータ活用を効率化することができます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/ed6082df-de43-5e86-475c-e78adc684974.png)

引用元：[Treasure Data Integrations by Alphabetical Sort](https://docs.treasuredata.com/articles/#!int/treasure-data-integrations-by-alphabetical-sort)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/957b6bf2-c4eb-5203-11b0-970c79265fa9.png)

引用元：[データ連携 - CDP（カスタマーデータプラットフォーム）の Treasure Data](https://www.treasuredata.co.jp/data-integrations/)

**Embulk** はオープンソースのデータバルクローダーで、Treasure Data CDP 外に環境を構築してデータ連携を実施します。データ取得元のプラグインが公開されており、Embulk のドキュメントにて確認できます。

- [Installing Bulk Data Import](https://docs.treasuredata.com/articles/#!pd/installing-bulk-data-import)
- [List of Embulk Plugins by Category](https://plugins.embulk.org/#input)

**Easy Sync** は、ソースから Treasure Data に一度に複数のテーブルを取り込む機能です。Treasure Data CDP のドキュメントではライブ接続に分類されていますが、データを物理的に移動しているためバッチ処理として分類しました。2023 年 10 月時点では、Snowflake のみがサポートされています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/a7c6a60d-31ce-d970-d620-9444ab25460e.png)

引用元：[Live Connect Ingest](https://docs.treasuredata.com/articles/#!pd/live-connect-ingest)

**TD Toolbelt** は、Treasure Data が提供するコマンドラインツールで、データを取り込むことができます。

- [TD Toolbelt Quickstart](https://api-docs.treasuredata.com/en/tools/cli/quickstart/)

**参考リンク**

- **Treasure Data Integrations**
  - [Unified Customer Data Integration Tools - Treasure Data](https://www.treasuredata.com/data-integrations/)
  - [Treasure Data Integrations Home](https://docs.treasuredata.com/articles/#!int/treasure-data-integrations-home)
  - [treasuredata.co.jp/data-integrations/](https://www.treasuredata.co.jp/data-integrations/)
- **Embulk**
  - [Embulk](https://www.embulk.org/)
  - [Installing Bulk Data Import](https://docs.treasuredata.com/articles/#!pd/installing-bulk-data-import)
- **Easy Sync**
  - [About Easy Sync Previously in Treasure Data](https://docs.treasuredata.com/articles/#!pd/live-connect-ingest/a/h2__1659620858)
- **TD Toolbelt**
  - [TD Toolbelt Quickstart](https://api-docs.treasuredata.com/en/tools/cli/quickstart/)

### リアルタイムインジェスト機能

リアルタイムインジェストの方法として、以下の機能が提供されています。

- **Web Tracking**
- **Fluentd**

**Web Tracking** では、SDK により Web サイトやモバイルアプリなどから Treasure Data CDP にデータ連携を実施できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/7905cd84-816a-abd8-6f0a-99b117ffd239.png)

引用元：[データの収集/統合/連携方法を理解する - 201: はじめてのトレジャーデータ (JA)](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/201-はじめてのトレジャーデータ-ja-raw-ZFRU_mg1/#/lessons/rQOrhr7P6xfotjCBkxQh8wXeuXt7Xqe0)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/f7db6811-7d6d-1998-727c-e3895de6908a.png)

引用元：[データの収集/統合/連携方法を理解する - 201: はじめてのトレジャーデータ (JA)](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/201-はじめてのトレジャーデータ-ja-raw-ZFRU_mg1/#/lessons/rQOrhr7P6xfotjCBkxQh8wXeuXt7Xqe0)

**Fluentd** はオープンソースのデータ収集ツールで、サーバーから Treasure Data CDP にデータ連携を実施できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/e6a15981-b355-9fd6-718c-bc6487a30937.png)

引用元：[データの収集/統合/連携方法を理解する - 201: はじめてのトレジャーデータ (JA)](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/201-はじめてのトレジャーデータ-ja-raw-ZFRU_mg1/#/lessons/rQOrhr7P6xfotjCBkxQh8wXeuXt7Xqe0)

これらのリアルタイムインジェスト機能により、リアルタイムマーケティング（**Real-time Triggered Activation** 等）を実施できます。

- [Creating a Real-time Triggered Activation](https://docs.treasuredata.com/articles/#!pd/creating-a-real-time-triggered-activation)

**参考リンク**

- **Web Tracking**
  - [Introduction to Web Tracking](https://docs.treasuredata.com/articles/#!pd/introduction-to-web-tracking)
  - [TD JavaScript SDK Quickstart](https://api-docs.treasuredata.com/en/sdk/js-sdk/quickstart/)
- **Fluentd**
  - [Introduction | Fluentd](https://docs.fluentd.org/)
  - [treasure-data/fluent-plugin-td: Fluentd plugin for Treasure Data Service](https://github.com/treasure-data/fluent-plugin-td)
  - [Installing Fluent Package](https://docs.treasuredata.com/articles/#!pd/installing-treasure-agent)

### ライブ接続機能

ライブ接続を行う方法として、以下の機能が提供されています。

- **Zero-Copy**

**Zero-Copy** とは、永続的なコピーや ETL を実施せずにデータウェアハウスからデータを取り込む方法です。必要に応じてクエリを発行してデータを取得します。2024年11月15日時点では、Databricks と Snowflake がサポートされています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/97719c6a-b102-2eb4-90b8-92c7cb4b97b0.png)

引用元：[Live Connect Ingest](https://docs.treasuredata.com/articles/#!pd/live-connect-ingest)

**参考リンク**

- **Zero-Copy**
  - [About Zero-Copy](https://docs.treasuredata.com/articles/#!pd/live-connect-ingest/a/h2_1421229720)

### データベース機能

データを蓄積する方法として、以下の機能が提供されています。

- **PlazmaDB**
- **Datatank**

**PlazmaDB** は、コンピューティング層と分離された Treasure Data CDP のデータストレージエンジンです。PlazmaDB に関する仕様を理解する際には下記の記事が参考になります。

- [Treasure DataのPlazmaDBを理解する #TreasureData - Qiita](https://qiita.com/xerial/items/959d2b928353b595f31e)
- [Plazma - Treasure Data’s distributed analytical database - | PPT](https://www.slideshare.net/slideshow/td-techplazma/45784622)

大規模データ分析やリアルタイムデータ処理に最適化されており、UNIXエポックタイム形式で自動的に付与される`time`列を活用することで、高性能かつ効率的なクエリ実行を実現します。データは`time`列を基にパーティション分割され、通常は1時間単位のパーティションに整理されています。公式ドキュメントにも記載されているように、クエリの述語で`time`列を条件に指定することで、特定の時間範囲に絞ったデータ検索が可能となります。これにより、不要なパーティションへのアクセスを回避し、クエリパフォーマンスを大幅に向上させる効率的なデータ処理が可能になります。

> By constraining the ‘time’ column, you can avoid processing an entire data set and can instead have more targeted data processing. The partitioning enables good performance, efficient data management, and increased availability.

引用元：[Data Partitioning in Treasure Data](https://docs.treasuredata.com/articles/#!pd/data-partitioning-in-treasure-data)

> 「time」列を条件に指定することで、全データセットを処理する必要を避け、よりターゲットを絞ったデータ処理が可能になります。このパーティショニングにより、高いパフォーマンス、効率的なデータ管理、そして可用性の向上が実現されます。

上記の翻訳

引用元：[Data Partitioning in Treasure Data](https://docs.treasuredata.com/articles/#!pd/data-partitioning-in-treasure-data)

**PlazmaDB**では、データへの権限付与に2つの方法が提供されています。1つは、Policy-based Database Permissions で、 IAM ポリシーを利用してデータベースやテーブル、カラム単位で柔軟な権限管理が可能です。もう1つは、 **Database Access (Legacy)** で、データベース単位での簡易的な権限設定が可能ですが、細かい制御には不向きです。Treasure Dataでは、より高度で柔軟な管理が可能な**Policy-based Database Permissions**を推奨しており、レガシー方式からの移行が推奨されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/1e1beaec-47ab-baf1-0d7d-a10466b440b9.png)

引用元：[About Policy-based Database Permissions](https://docs.treasuredata.com/articles/#!pd/about-policy-based-database-permissions)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/6734c89e-b07e-94c1-cdf6-8fe6abf9268a.png)

引用元：[About Column-level Access Control](https://docs.treasuredata.com/articles/#!pd/about-column-level-access-control)

**Datatank** は、PostgreSQL をベースに設計された Treasure Data のデータストレージ機能で、PlazmaDB のデータマートとして機能します。RDB（リレーショナルデータベース）の特徴を活かし、低レイテンシーで高い同時実行性能を実現できます。外部の BI ツールから接続する場合などに利用されます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/081e89a2-0cc6-d2cc-22e9-419a67e75294.png)

引用元：[About Data Tank 2.0](https://docs.treasuredata.com/articles/#!pd/about-data-tank-2-0)

**参考リンク**

- **PlazmaDB**
  - [Treasure Data の PlazmaDB を理解する #TreasureData - Qiita](https://qiita.com/xerial/items/959d2b928353b595f31e)
  - [Plazma - Treasure Data’s distributed analytical database - | PPT](https://www.slideshare.net/slideshow/td-techplazma/45784622)
  - [Data Partitioning in Treasure Data](https://docs.treasuredata.com/articles/#!pd/data-partitioning-in-treasure-data)
  - [About Policy-based Database Permissions](https://docs.treasuredata.com/articles/#!pd/about-policy-based-database-permissions)
- **Datatank**
  - [About Data Tanks](https://docs.treasuredata.com/articles/#!pd/about-data-tanks)

### データ統合機能

データを統合する方法として、以下の機能が提供されています。

- **Trino (Presto)**
- **Hive**
- **Custom Scripts**

データ統合機能は、次の図における`Distributed Data Processing`にて PlazmaDB と直接参照しているサービスです。Spark の記述がありますが、Custom Scripts 機能により td-spark というライブラリにてデータ統合を実施するようです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/e3354e6e-1d01-b32f-7fc3-e912fdafe971.png)

引用元：[td-spark API Documentation](https://treasure-data.github.io/td-spark/)

**Trino (Presto)** や **Hive** により、PlazmaDB 上のデータ処理を実施できます。二つの方法の使い分けについては、ドキュメントに記載されており、インタラクティブなクエリを発行したい場合は Trino (Presto) を、スループットを重視する場合は Hive を利用することが推奨されています。データ処理量が多い場合、Trino (Presto) ではエラーが発生することを認識することが重要です。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/01918a11-9a7a-d99f-eef6-376eb35d4e9f.png)

引用元：[Trino (Presto) Quickstart](https://api-docs.treasuredata.com/en/tools/presto/quickstart/#choosing-an-analytics-engine)

> Presto has a limitation on the maximum amount of memory that each task in a query can store, so if a query requires a large amount of memory, the query simply fails.

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/cc6676da-e04d-e6d3-f4a6-5df241a76f33.png)

Treasure Data CDP 固有の UDF (ユーザー定義関数)が提供されています。IP アドレスから情報を取得する TD_IP で始まる UDF があり、 Maxmind 社のデータの基づいている旨の記述があります。

> Both Hive and Presto UDFs use a geolocation database supplied by Maxmind.

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/79a831c8-6b76-e945-cfe4-953b4bf77f0d.png)

**Trino (Presto)** や **Hive** の挙動の相違について、下記の記事にて詳細に記述されています。

[Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い #SQL - Qiita](https://qiita.com/y-ken/items/400b7c70c324ac67af02)

**Custom Scripts** により、 Spark によりデータ統合を実施できまる旨が Treasure Boxes に記載されておりります。**td-spark** というライブラリを利用して、**PlazmaDB**に接続できるようです。ただし、 Plazma Public API が提供されなくなため本機能は動作しない可能性があります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/da274f11-74ce-acc6-bb0d-29e519eb785f.png)

引用元：[PySpark - Python API for Apache Spark – Treasure Boxes](https://boxes.treasuredata.com/hc/en-us/articles/360026636693-PySpark-Python-API-for-Apache-Spark)

**参考リンク**

- **Trino (Presto)**
  - [TD Presto Function Reference](https://api-docs.treasuredata.com/en/tools/presto/api/)
  - [Trino (Presto) Quickstart](https://api-docs.treasuredata.com/en/tools/presto/quickstart/)
- **Hive**
  - [About the Hive Engine](https://api-docs.treasuredata.com/en/tools/hive/quickstart/)
  - [Treasure Data Hive Function Reference](https://api-docs.treasuredata.com/en/tools/hive/td_hive_function_reference/)
- **Custom Scripts**
  - [PySpark - Python API for Apache Spark – Treasure Boxes](https://boxes.treasuredata.com/hc/en-us/articles/360026636693-PySpark-Python-API-for-Apache-Spark)

### カスタマープロファイル統一機能

カスタマープロファイルを統一する方法として、以下の機能が提供されています。

- **ID Unification**

**ID Unification** とは、複数のデータソースに分散している顧客データを、一意に識別可能な ID に結びつける機能です。これにより、顧客の全体像を正確に把握し、パーソナライズされたマーケティング施策を実現できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/04dd72c3-a500-ae4c-d306-ccb8c16664b5.png)

引用元：[ID Unification 紹介セミナー開催のお知らせ - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/seminar/230920)

**参考リンク**

- [Customer ID Unification](https://docs.treasuredata.com/articles/#!pd/customer-id-unification/a/h2_52061807)
- [ID Unification 紹介セミナー開催のお知らせ - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/seminar/230920)
- [Treasure Academy ID Unification Document](https://advanced.cdp-academy-lab.com/id_unif/intro.html)

### カスタマーセグメンテーション機能

カスタマーをセグメンテーションする方法として、以下の機能が提供されています。

- **Master Segments**
- **Audience Studio**
- **Journey Orchestration**

**Master Segments** は、顧客データを統合的に管理する機能です。これにより、マーケティングや分析に必要な顧客プロファイルや行動データを一元的に保持し、ターゲティングやパーソナライズを効率的に行えます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/9c845965-5ed7-36b1-c111-bd8225cd03c2.png)

引用元：[Audience Studio を活用する前の Master Segment 設定 - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/howto/0144)

**Audience Studio** は、顧客セグメントを作成・管理するための機能です。顧客属性や行動データを基に、柔軟なセグメントを作成できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/7d62796e-077f-e8af-fc91-b539ffcd58ee.png)

引用元：[Articles](https://docs.treasuredata.com/articles/#!pd/processing-engine-and-resource-pools)

**Journey Orchestration** は、顧客の行動や属性データに基づいて、最適なタイミングでのアクションやメッセージを設計・実行する機能です。リアルタイムで顧客の行動をトリガーとして利用でき、パーソナライズされた体験を提供可能です。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/7b92ea33-2fd1-7d16-5976-99e05b7380df.png)

引用元：[ジャーニーオーケストレーション徹底紹介セミナー- 1. イントロ編 - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/howto/0357)

**参考リンク**

- **Master Segments**
  - [Overview of Parent Segments](https://docs.treasuredata.com/articles/#!pd/overview-of-master-segments)
  - [Audience Studio を活用する前の Master Segment 設定 - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/howto/0144)
- **Audience Studio**
  - [Segment Editor Overview](https://docs.treasuredata.com/articles/#!pd/segment-editor-overview)
  - [TD 初心者でもできる！Audience Studio の使い方 - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/howto/0128)
  - [新 Audience Studio V5 セミナー資料&セミナー録画 - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/seminar/archive/asv5)
- **Journey Orchestration**
  - [Treasure Data Customer Journey Orchestration](https://docs.treasuredata.com/articles/#!pd/cjo-overview)
  - [ジャーニーオーケストレーション徹底紹介セミナー - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/category/article/howto/journey-orchestration/)

### 可視化機能（BI 機能）

データを可視化する方法として、以下の機能が提供されています。ただし、この機能を利用せずに、データベース機能に対して Tableau などの外部 BI ツールを利用することも一般的です。

- **Treasure Insights**
- **Segment Insights Dashboard**

**Treasure Insights** は、組み込み型 BI 機能であり、ダッシュボードやキューブ（ElastiCube）を作成できます。Sisense 社の BI サービスがベースとなっています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/7d00b54e-af77-7643-a758-256664d57d60.png)

引用元：[Treasure Insights](https://docs.treasuredata.com/articles/#!pd/treasure-insights)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/b327f463-634a-8b13-272c-29f95f6941b8.png)

引用元：[Sub-Processors - Treasure Data](https://www.treasuredata.com/terms/sub-processors/)

**Segment Insights Dashboard** は、特定の顧客セグメントのパフォーマンスを分析・比較するための機能です。Treasure Insights が全体像の管理や多用途なデータ分析に適しているのに対し、Segment Insights Dashboard は特定のマーケティング施策や顧客セグメントの分析に特化しています。

- [Segment Insights Dashboard Overview](https://docs.treasuredata.com/articles/#!pd/segment-insights-dashboard-overview)

**参考リンク**

- **Treasure Insights**
  - [Treasure Insights](https://docs.treasuredata.com/articles/#!pd/treasure-insights)
- **Segment Insights Dashboard**
  - [Segment Insights Dashboard Overview](https://docs.treasuredata.com/articles/#!pd/segment-insights-dashboard-overview)

### 統計解析機能

データに対する統計解析を実施する方法として、以下の機能が提供されています。

- **Predictive Scoring**
- **AutoML**
- **PrecisionML**
- **Custom Scripts**
- **Hivemall**

Treasure Data で利用可能な統計解析機能については、以下のドキュメントに整理されています。具体的なユースケースも記載されており、機能全体の概要を把握するのに役立ちます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/5f5bd500-a7a8-6260-af6e-9c5684c1453e.png)

引用元：[Introduction to Treasure Data AI/ML](https://docs.treasuredata.com/articles/#!pd/introduction-to-treasure-data-ai-ml)

**Predictive Scoring** は、Audience Studio 内で提供される機能で、顧客の行動や属性データを基に、特定の行動（例：購買、解約）の発生確率を予測します。

- [Predictive Scoring Overview](https://docs.treasuredata.com/articles/#!pd/predictive-scoring-overview)

**AutoML** は、機械学習モデルの構築やハイパーパラメータの最適化を自動化する機能です。専門的な知識がなくても、データ分析や予測モデルの作成が容易になります。

- [AutoML](https://docs.treasuredata.com/articles/#!pd/automl)

**PrecisionML** は、Treasure Data が提供する機械学習フレームワークで、顧客データを活用して高度な予測分析やパーソナライゼーションを実現するための機能です。

- [PrecisionML](https://docs.treasuredata.com/articles/#!pd/precisionml)

**Custom Scripts** では、Python の Pandas などを組み合わせて統計解析を実施できます。

- [Pandas – Treasure Boxes](https://boxes.treasuredata.com/hc/en-us/articles/360034034013-Pandas)

**Hivemall** は、Apache Hive 上で動作する機械学習ライブラリであり、大規模データの分散処理を可能にします。Treasure Data では、Hivemall を活用して、退会予測やレコメンデーションなどの高度な分析を実施できます。

- [Introduction · Hivemall User Manual](https://hivemall.github.io/)

**参考リンク**

- **Predictive Scoring**
  - [Predictive Scoring Overview](https://docs.treasuredata.com/articles/#!pd/predictive-scoring-overview)
- **AutoML**
  - [AutoML](https://docs.treasuredata.com/articles/#!pd/automl)
  - [TD AutoML 紹介セミナー資料&セミナー録画 - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/seminar/archive/automl)
  - [TD AutoML Q&A - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/article/product/faq/automl)
  - [Treasure Academy TD AutoML Document](https://advanced.cdp-academy-lab.com/td_automl/intro.html)
- **Custom Scripts**
  - [Using Custom Scripts in Workflows](https://docs.treasuredata.com/articles/#!pd/using-custom-scripts-in-workflows/a/h1_794295230)
- **Hivemall**
  - [Introduction · Hivemall User Manual](https://hivemall.github.io/)
  - [Hivemall Function Reference](https://api-docs.treasuredata.com/en/tools/hive/hivemall_reference/)

### アクティベーション機能（データ連携機能）

データを連携する方法として、以下の機能が提供されています。

- **Activation**

**Activations** とは、作成したセグメントデータを外部のマーケティングツールやシステムに連携する機能です。この機能は、**Audience Studio** や **Customer Journey Orchestration** において利用可能です。以下のドキュメントにある **Export Integration** に記載された多くのサービスに対してデータ連携が可能です。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/3c1b8085-4376-ebee-f639-88fbf577832d.png)

引用元：[Treasure Data Integrations by Alphabetical Sort](https://docs.treasuredata.com/articles/#!int/treasure-data-integrations-by-alphabetical-sort)

**参考リンク**

- **Activation**
    - [Activate Overview](https://docs.treasuredata.com/articles/#!pd/activations-overview)
    - [Treasure Data Integrations by Alphabetical Sort](https://docs.treasuredata.com/articles/#!int/treasure-data-integrations-by-alphabetical-sort)

### データ提供機能

データを提供する方法として、以下の接続方法があります。

- **Hive のエンドポイント機能**
  - [Maven Repository: org.apache.hive » hive-jdbc](https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc)
- **Trino (Presto) のエンドポイント機能**
  - [ODBC Driver for Presto](https://docs.treasuredata.com/articles/#!pd/odbc-driver-for-presto)
  - [JDBC Driver for Presto](https://docs.treasuredata.com/articles/#!pd/jdbc-driver-for-presto)
- **Datatank のエンドポイント機能**
  - [psqlodbc - PostgreSQL ODBC driver](https://odbc.postgresql.org/)
  - [Home | pgJDBC](https://jdbc.postgresql.org/)
- **pyTD**
  - [pytd — pytd 1.5.1 documentation](https://pytd-doc.readthedocs.io/en/latest/index.html)
- **td-spark**
  - [td-spark API Documentation](https://treasure-data.github.io/td-spark/)
- **TD-API**
  - [Treasure Data TD-API Quickstart](https://api-docs.treasuredata.com/en/api/td-api/quickstart/)
- **TD Toolbelt**
  - [TD Toolbelt Quickstart](https://api-docs.treasuredata.com/en/tools/cli/quickstart/)
- **Embulk**
  - [treasure-data/embulk-input-td: Treasure Data Input Plugin for Embulk](https://github.com/treasure-data/embulk-input-td)

**PlazmaDB**に対して直接データ操作を行う API は現在は提供されていないようです。

> Treasure Data is no longer accepting new users for the Plazma Public API.

引用元：[pyTD Quickstart](https://api-docs.treasuredata.com/en/tools/pytd/quickstart/)

> Treasure Data は、Plazma Public API の新規ユーザーをこれ以上受け付けていません。

上記翻訳

**参考リンク**

- **Hive のエンドポイント機能**
  - [Maven Repository: org.apache.hive » hive-jdbc](https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc)
- **Trino (Presto) のエンドポイント機能**
  - [ODBC Driver for Presto](https://docs.treasuredata.com/articles/#!pd/odbc-driver-for-presto)
  - [JDBC Driver for Presto](https://docs.treasuredata.com/articles/#!pd/jdbc-driver-for-presto)
- **Datatank のエンドポイント機能**
  - [psqlodbc - PostgreSQL ODBC driver](https://odbc.postgresql.org/)
  - [Home | pgJDBC](https://jdbc.postgresql.org/)
- **pyTD**
  - [pytd — pytd 1.5.1 documentation](https://pytd-doc.readthedocs.io/en/latest/index.html)
- **td-spark**
  - [td-spark API Documentation](https://treasure-data.github.io/td-spark/)
- **TD-API**
  - [Treasure Data TD-API Quickstart](https://api-docs.treasuredata.com/en/api/td-api/quickstart/)
- **TD Toolbelt**
  - [TD Toolbelt Quickstart](https://api-docs.treasuredata.com/en/tools/cli/quickstart/)
- **Embulk**
  - [treasure-data/embulk-input-td: Treasure Data Input Plugin for Embulk](https://github.com/treasure-data/embulk-input-td)

### AI 支援機能

AI による支援を受ける方法として、以下の機能が提供されています。

- **Treasure Data AI Framework (Marketing Copilot 等)**

**Treasure Data AI Framework** は、2024 年に発表された Treasure Data CDP に統合された AI フレームワークです。このフレームワークは、生成 AI（Generative AI）を活用し、ユーザーが自然言語で CDP と対話できるチャットインターフェースを導入することで、顧客データへのアクセスと活用を容易にします。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/1e5b67f2-9057-06bd-272f-7df89d8f3d07.png)

引用元：[Treasure Data Unveils Generative AI Capabilities - Treasure Data](https://www.treasuredata.com/press-releases/generative-ai-announcement/?_ga=2.198005871.1318610093.1731648627-680106581.1728285653)

2024年11月15日時点では、**Marketing Copilot** という機能が提供されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/1593e1bf-3b1e-1e1e-d809-65cfbd1aea9e.png)

引用元：[Marketing Copilot Overview](https://docs.treasuredata.com/articles/#!pd/marketing-copilot-overview)

**参考リンク**

- **Treasure Data AI Framework**
    - [Treasure Data Unveils Generative AI Capabilities - Treasure Data](https://www.treasuredata.com/press-releases/generative-ai-announcement/?_ga=2.198005871.1318610093.1731648627-680106581.1728285653)
    - [Marketing Copilot Overview](https://docs.treasuredata.com/articles/#!pd/marketing-copilot-overview)
    
### データクリーンルーム機能

データクリーンルームを利用する方法は、現時点では確認できませんでした。

### データカタログ機能（顧客データ管理機能）

データカタログ機能に明確な機能名はありませんが、データベースやテーブル（Master Segments）を管理する機能が提供されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/7b53f234-61bf-b80e-d579-e81e9f95d456.png)

引用元：[Data Workbench Overview](https://docs.treasuredata.com/articles/#!pd/data-workbench/a/h1__1216570244)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/ad24e8a3-aadc-6654-a2fc-d33cf93522f0.png)

引用元：[Modifying or Customizing the Table Schema](https://docs.treasuredata.com/articles/#!pd/modifying-or-customizing-the-table-schema)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/89b0c20d-13ce-227d-19a9-d3ca13df4a83.png)

引用元：[Data Workbench Overview](https://docs.treasuredata.com/articles/#!pd/data-workbench/a/h1__400303863)

**参考リンク**

- **データカタログ機能**
    - [Data Workbench Overview](https://docs.treasuredata.com/articles/#!pd/data-workbench/a/h1__1216570244)
    - [Modifying or Customizing the Table Schema](https://docs.treasuredata.com/articles/#!pd/modifying-or-customizing-the-table-schema)

### オーケストレーション機能

オーケストレーションを実施する方法として、以下の機能が提供されています。

- **Treasure Workflow**

**Treasure Workflow** は、ワークフロー管理サービスで、データ処理の自動化と管理を支援します。**Digdag** というオープンソースのワークフローエンジンをベースに実装されており、YAML 形式でワークフローを定義し、複雑なタスクのパイプラインを構築、実行、スケジューリング、監視することができます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/3248f40a-bdd2-54cf-838f-70c3934b74b2.png)

引用元：[Workflow 概要 - 203: Workflow (JA)](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/203-workflow-ja-raw-TDPHIVqv/#/lessons/IVroVsmTDtX_u2jD7Hqx6tgVbzsk33B4)

**Custom Scripts** という Python を実行できる機能もあり、Treasure Data がサポートしていないシステムへのデータ連携やデータサイエンスを実行する際に利用されます。

- [Using Custom Scripts in Workflows](https://docs.treasuredata.com/articles/#!pd/using-custom-scripts-in-workflows/a/h1_794295230)

**Treasure Boxes** の GitHub リポジトリにてサンプルコードが提供されており、サイトにてそのコードの説明があります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/b36cdca5-ac52-bf25-c107-3c4c5f15ea25.png)

引用元：[treasure-data/treasure-boxes: Treasure Boxes - pre-built pieces of code for developing, optimizing, and analyzing your data.](https://github.com/treasure-data/treasure-boxes/tree/master)

**参考リンク**

- **Treasure Workflow**
    - [TD Workflow](https://docs.treasuredata.com/articles/#!pd/about-treasure-workflow)
    - [treasure-data/treasure-boxes](https://github.com/treasure-data/treasure-boxes/tree/master)
    - [Treasure Boxes](https://boxes.treasuredata.com/hc/en-us)
    - [Using Custom Scripts in Workflows](https://docs.treasuredata.com/articles/#!pd/using-custom-scripts-in-workflows)

### ユーザープライバシー機能

ユーザープライバシーを管理する方法として、以下の機能が提供されています。

- **Treasure Data Trust for CDP**

**Treasure Data Trust for CDP** とは、企業が顧客データを安全かつ効果的に活用するための包括的なソリューションです。このソリューションは、データセキュリティ、データガバナンス、データプライバシーの 3 つの主要な要素で構成されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/778a3a9b-4912-36e6-aef4-1e8313a92aef.png)

引用元：[About Treasure Data Trust for CDP](https://docs.treasuredata.com/articles/#!pd/about-treasure-data-trust-for-cdp)

**Treasure Data JavaScript Consent Extension (TD JS Consent Extension)** により、企業はデータ利用目的や同意収集の文脈を定義し、ウェブサイト訪問者が自身のデータ収集に関する同意設定を管理できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/550ee16d-f83c-0655-ce6e-7d98e83896f5.png)

引用元：[Treasure Data JavaScript Consent Extension](https://api-docs.treasuredata.com/en/sdk/js-sdk/consent-manager/)

**参考リンク**

- **Treasure Data Trust for CDP**
    - [About Treasure Data Trust for CDP](https://docs.treasuredata.com/articles/#!pd/about-treasure-data-trust-for-cdp)
    - [Treasure Data JavaScript Consent Extension](https://api-docs.treasuredata.com/en/sdk/js-sdk/consent-manager/)

## 参考になる資料

### はじめに読むべき資料

Treasure Data CDP の活用方法の概要を理解するためには、以下のリンクが有益です。

- [Treasure Data CDP 活用のはじめの一歩](https://user-engagement.treasuredata.co.jp/howto/0040)
- [Treasure Data CDP 活用のはじめの一歩 – 詳細編(1) –](https://user-engagement.treasuredata.co.jp/howto/0141)
- [Treasure Data CDP 活用のはじめの一歩 – 詳細編(2) –](https://user-engagement.treasuredata.co.jp/howto/0162)
- [Treasure Data CDP 活用のはじめの一歩 – 詳細編(3) –](https://user-engagement.treasuredata.co.jp/howto/0164)
- [Treasure Data CDP 活用のはじめの一歩 – 詳細編(4) –](https://user-engagement.treasuredata.co.jp/howto/0213)

### 無償の E-learning

無償、かつ、未登録で受講できるトレーニングが以下のリンク先で公開されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/b47a82bc-c0bf-add2-4749-a6af692ce327.png)

引用元：[E-learning Archives - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/category/article/e-learning/)

トレーニングコンテンツがページに埋め込まれており、若干見づらいです。トレーニングコンテンツが埋め込まれているだけであるため、その URL 先に飛ぶことで全画面表示できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/f22095ae-af10-cdcf-f48e-90a3f869b948.png)

引用元：[TDを知るためのE-ラーニング_はじめてのトレジャーデータ - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/e-learning/0001)

公開されているトレーニングコンテンツは下記です。

- [201: はじめてのトレジャーデータ (JA)](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/201-はじめてのトレジャーデータ-ja-raw-ZFRU_mg1/#/)
- [202: Audience Studio (JA)](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/202-audiencestudio-ja-raw-UEFueCFb/#/)
- [203: Workflow (JA)](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/203-workflow-ja-raw-TDPHIVqv/#/)
- [204: SQL (JA)](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/204-sql-ja-raw-q43F1bqo/index.html#/)
- [205: Webトラッキング (JA) - Overview](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/205-webトラッキング-ja-raw-os2qfWa_/#/)
- [206: Hivemall (JA) - Overview](https://user-engagement.treasuredata.co.jp/wp-content/uploads/articulate_uploads/206-hivemall-ja-raw-h9xgyuqy/#/)

### Treasure Data 社が提供する役立つサイト

Treasure Data 社提供している役立るサイトには、次のものがあります。

- Treasure Data User Engagement
- Use Case Maturity
- Treasure Boxes

**Treasure Data User Engagement**は、Treasure Data CDPを活用するユーザー向けの情報提供ポータルサイトです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/03da44a7-d75a-20af-8c56-68ff9834511a.png)

引用元：[Treasure Data User Engagement［TOP］ - Treasure Data User Engagement](https://user-engagement.treasuredata.co.jp/)

**Use Case Maturity**は、企業が顧客データの活用度合いを評価し、適切なCDPのユースケースを特定するためのガイドが提供されているサイトです。データ活用の成熟度を以下の4つのステージに分類しており、各ステージに応じた具体的なユースケースや実践例が紹介されております。自社のデータ活用状況を把握し、次のステップを計画する際の参考にできます。

**Treasure Boxes**は、Treasure Data が提供している事前構築されたコードやアプリケーションのライブラリが提供されているできるサイトです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/478c138c-ff08-3324-f469-360c0a92e47b.png)

引用元：[Treasure Boxes](https://boxes.treasuredata.com/hc/en-us)
### Treasure Data のトレーニングサービス

**トレジャーアカデミー** というトレーニングサービスが提供されています。一部のサービスを無償で受講でき、以下のサイトから申し込むことができます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/3b1a7495-5935-a320-74f1-fd381733512c.png)

引用元：[トレジャーアカデミー - CDP（カスタマーデータプラットフォーム）の Treasure Data](https://www.treasuredata.co.jp/service/training/)

以下のドキュメントは無償で閲覧可能です。

- [Treasure Academy TD AutoML Document](https://advanced.cdp-academy-lab.com/td_automl/intro.html)
- [Treasure Academy ID Unification Document](https://advanced.cdp-academy-lab.com/id_unif/intro.html)
- [Treasure Academy Journey Orchestration Document](https://advanced.cdp-academy-lab.com/cjo/intro.html)

### Gartner のレポートのダウンロード

CDP の市場を理解するために、Gartner のレポートを読むことが有効であり、Treasure Data のサイトで提供されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/0fd5d98b-14e3-cd6d-0fef-9167796af247.png)

引用元：[ガートナー社のマジック・クアドラント™で、CDP のリーダーに認定 - CDP（カスタマーデータプラットフォーム）の Treasure Data](https://www.treasuredata.co.jp/mqreport/)