Tier有りメーターのIPU (Informatica Processing Unit) 換算早見表（データ取り込みおよびレプリケーション編）

こんにちはMitzです。データ統合(CDI : Cloud Data Integration)編、アプリケーション統合(CAI : Cloud Application Integration)編に続いて、データ取り込みおよびレプリケーション（CDIR : Cloud Database Ingestion and Replication）編の換算早見表を作成してみました。

まだなじみが薄いと思いますが、データ取り込みおよびレプリケーション（CDIR : Cloud Database Ingestion and Replication）は、以前、一括取り込み（CMI : Cloud Mass Ingestion）と呼ばれていたサービスです。

# データ取り込みおよびレプリケーション（CDIR : Cloud Database Ingestion and Replication）
データ取り込みおよびレプリケーションについてはこの6つのメーターが全てです。データベースファイルとアプリケーションには増分ロードの機能が存在し、初期ロードはデータ量、増分ロードは行数がIPUの消費のメトリックとなっているため、それぞれ二つのメーターが存在します。
- File Ingestion and Replication (formerly Mass Ingestion Files)
- Streaming Ingestion and Replication (formerly Mass Ingestion Streaming)
- Database Ingestion and Replication (formerly Mass Ingestion Database)
- Database Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Database - Change Data Capture)
- Application Ingestion and Replication (formerly Mass Ingestion Application)
- Application Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Application - Change Data Capture)

# ファイル取り込みおよびレプリケーション
## File Ingestion and Replication (formerly Mass Ingestion Files)
Informatica Cloud and Product Description Scheduleには下記の通り記載されています。Tierが二つで、上位のTierではIPUの消費レートが半分になっただけなので計算しやすいですね。
- Scalar: Data Volume
- Metric: Per Gigabyte
- IPU Per Metric Unit:
    - 0.03 for the first 5TB
    - 0.015 for > 5TB

これは、5TB以内は1GB毎に0.03 IPUを消費し、5TBを超えた場合は1GB毎に0.015 IPUを消費するという意味です。
| Data Volume<BR> Per Gigabyte | 必要IPU数 | 消費レート |
| :---: | :---: | :---: |
| 1 | 0.03 | 0.03 IPU / GB |
| 10 | 0.3 | ↑ |
| 100 | 3 | ↑ |
| 1000 | 30 | ↑ |
| 2000 | 60 | ↑ |
| 3000 | 90 | ↑ |
| 4000 | 120 | ↑ |
| 5000 | 150 | ↑ |
| 6000 | 165 | 0.015 IPU /GB|
| 7000 | 180 | ↑ |
| 8000 | 195 | ↑ |
| 9000 | 210 | ↑ |
| 10000 | 225 | ↑ |

最初のTierでは1TB処理するのに30 IPU必要だったのが、次のTierでは同じ1TB処理するのに必要なのは15 IPUになっています。これをグラフ化すると下記の通りです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/786891/19f77f05-3ddd-5002-b305-b72514c6c6f7.png)

# ストリーミング取り込みおよびレプリケーション
## Streaming Ingestion and Replication (formerly Mass Ingestion Streaming)
Informatica Cloud and Product Description Scheduleには下記の通り記載されています。こちらもTierが二つで、上位のTierではIPUの消費レートが半分になっただけなので計算しやすいですね。
- Scalar: Data Volume
- Metric: Per Gigabyte
- IPU Per Metric Unit:
    - 0.27 for the first 1TB
    - 0.135 for > 1TB

これは、1TB以内は1GB毎に0.27 IPUを消費し、1TBを超えた場合は1GB毎に0.135 IPUを消費するという意味です。
| Data Volume<BR> Per Gigabyte | 必要IPU数 | 消費レート |
| :---: | :---: | :---: |
| 1 | 0.27 | 0.27 IPU / GB |
| 10 | 2.7 | ↑ |
| 100 | 27 | ↑ |
| 1000 | 270 | ↑ |
| 2000 | 405 | 0.135 IPU / GB |
| 3000 | 540 | ↑ |
| 4000 | 675 | ↑ |
| 5000 | 810 | ↑ |

最初のTierでは1TB処理するのに270 IPU必要だったのが、次のTierでは同じ1TB処理するのに必要なのは135 IPUになっています。これをグラフ化すると下記の通りです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/786891/f3198d23-699b-34dd-71ad-a384c02f1703.png)

# データベース取り込みおよびレプリケーション
## Database Ingestion and Replication (formerly Mass Ingestion Database)
初期ロードについてはInformatica Cloud and Product Description Scheduleには下記の通り記載されています。

- Scalar: Data Volume
- Metric: Per Gigabyte
- IPU Per Metric Unit:
    - 0.1 for the first 2TB
    - 0.08 for 2TB - 10TB
    - 0.05 for 10TB - 25TB
    - 0.018 for > 25TB

これは、2TB以内は1GB毎に0.1 IPUを消費、2TBを超えて10TB以下の場合は1GB毎に0.08 IPUを消費、10TBを超えて25TB以下の場合は1時間毎に0.05 IPUを消費、25TBを超えた場合は1時間毎に0.018 IPUを消費するという意味です。

| Data Volume<BR> Per Gigabyte | 必要IPU数 | 消費レート |
| :---: | :---: | :---: |
| 1 | 0.1 | 0.1 IPU / GB |
| 10 | 1 | ↑ |
| 100 | 10 | ↑ |
| 1000 | 100 | ↑ |
| 2000 | 200 | ↑ |
| 3000 | 280 | 0.08 IPU / GB |
| 4000 | 360 | ↑ |
| 5000 | 440 | ↑ |
| 6000 | 520 | ↑ |
| 7000 | 600 | ↑ |
| 8000 | 680 | ↑ |
| 9000 | 760 | ↑ |
| 10000 | 840| ↑ |
| 11000 | 890| 0.05 IPU / GB |
| 15000 | 1090| ↑ |
| 20000 | 1340| ↑ |
| 25000 | 1590| ↑ |
| 26000 | 1608| 0.18 IPU / GB |
| 27000 | 1626| ↑ |
| 30000 | 1680| ↑ |

最初のTierでは1TB処理するのに100 IPU必要だったのが、次のTierでは同じ1TB処理するのに必要なのは80 IPUになり、さらに次のTierでは50 IPUとなり、最終的には18 IPUになっています。これをグラフ化すると下記の通りです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/786891/814ec22c-f034-18e3-df50-3977cf582345.png)

## Database Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Database - Change Data Capture)
増分ロードについてはInformatica Cloud and Product Description Scheduleには下記の通り記載されています。

- Scalar: Rows
- Metric: Per Million Rows
- IPU Per Metric Unit:
    - 6.5 for the first 15M Rows
    - 0.55 for 15M - 750M Rows
    - 0.05 for > 750M Rows

これは、1千5百万行以内は100万行毎に6.5 IPUを消費し、1千5百万行を超えて7億5千万行以内は100万行毎に0.055 IPUを消費し、7億5千万行を超えた場合は100万行毎に0.05 IPUを消費するという意味です。

| Rows<BR>Per Million Rows | 必要IPU数 | 消費レート |
| :---: | :---: | :---: |
| 1M | 6.5 | 6.5 IPU / GB |
| 5M | 32.5 | ↑ |
| 10M | 65 | ↑ |
| 15M | 97.5 | ↑ |
| 30M | 105.75 | 0.55 IPU / GB |
| 150M | 171.75 | ↑ |
| 300M | 254.25 | ↑ |
| 750M | 501.75 | ↑ |
| 765M | 502.5 | 0.05 IPU / GB |
| 780M | 503.25| ↑ |

15M行処理するのに最初のTierでは97.5 IPU必要だったのが、次のTierでは8.25 IPU、最上位のTierでは必要なのは0.75 IPUになっています。これをグラフ化すると下記の通りです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/786891/6129fcde-e6ce-3534-68d3-a2850c0e1835.png)

### Database Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Database - Change Data Capture)におけるRowsの計算について
ソースの変更ログから読み込まれた行数で決まるのですが、同一行に対して複数の変更が発生している場合には、1行としてカウントされるようです。

# アプリケーション取り込みおよびレプリケーション
## Application Ingestion and Replication (formerly Mass Ingestion Application)
初期ロードについてはInformatica Cloud and Product Description Scheduleには下記の通り記載されています。**データベース取り込みおよびレプリケーションの初期ロードと同一内容の為、説明は省略します。**

- Scalar: Data Volume
- Metric: Per Gigabyte
- IPU Per Metric Unit:
    - 0.1 for the first 2TB
    - 0.08 for 2TB - 10TB
    - 0.05 for 10TB - 25TB
    - 0.018 for > 25TB

## Application Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Application - Change Data Capture)
増分ロードについてはInformatica Cloud and Product Description Scheduleには下記の通り記載されています。

- Scalar: Data Volume
- Metric: Per Million Rows
- IPU Per Metric Unit:
    - 6.00 for the first 10M Rows
    - 0.2 for > 10M Rows

これは、1千万行以内は100万行毎に6 IPUを消費し、1千万行を超えた場合は100万行毎に0.2 IPUを消費するという意味です。

| Rows<BR>Per Million Rows | 必要IPU数 | 消費レート |
| :---: | :---: | :---: |
| 1M | 6 | 6 IPU / GB |
| 5M | 30 | ↑ |
| 10M | 60 | ↑ |
| 15M | 61 |0.2 IPU / GB |
| 20M | 62 | ↑ |

10M行処理するのに最初のTierでは60 IPU必要だったのが、最上位のTierでは必要なのは2 IPUになっています。これをグラフ化すると下記の通りです。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/786891/ba048009-32c4-64cd-ca4b-304c1ed279e5.png)

### Application Ingestion and Replication - Change Data Capture (formerly Mass Ingestion Application - Change Data Capture)におけるRowsの計算について
ソースの変更ログから読み込まれた行数で決まるのですが、同一行に対して複数の変更が発生している場合には、1行としてカウントされるようです。

# 参考リンク
- [Informatica Cloud and Product Description Schedule](https://www.informatica.com/content/dam/informatica-com/en/docs/informatica-cloud-and-product-description-schedule.pdf)
- [Informatica Cloud Services Measurement Guide](https://knowledge.informatica.com/s/article/DOC-19140?language=en_US)