TROCCO®ワークフロー変更履歴キー名早見表

# はじめに
本記事はTROCCOアドベントカレンダー2024 15日目の記事です。

https://qiita.com/advent-calendar/2024/trocco


# 概要
https://documents.trocco.io/docs/release-note-2024-10

先日、ワークフローに変更履歴機能が追加されました。機能としてはシンプルで変更内容をyaml形式でどんな変更をしたかを可視化できる機能となります。また過去の状態に戻す復元機能もあります。

こんな感じ
![スクリーンショット 2024-10-23 22.42.40.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/576f0480-a588-f986-2364-4b150d815900.png)


yamlのキー名が画面から設定する名前と違いどこを変えたのか（多分このあたりかな、というのは雰囲気で分かるとは思いつつ）ぱっと見わからない人もいると思いますので、早見表を用意しました。

# 早見表


## yamlトップレベル
| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
| id  |  ワークフローの定義ID(urlにあるID) | | 
| name |  ワークフロー名 |　![スクリーンショット 2024-10-23 22.52.12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/f2a70828-e145-ce7f-cc49-5701714c4ceb.png) | 
| description |  メモ | ![スクリーンショット 2024-10-23 22.52.26.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/9bd6cfb9-b3f8-51d2-88c8-da97c4e90219.png) | 
| max_parallelism | タスク同時実行上限数  | ![スクリーンショット 2024-10-23 22.52.49.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/455ffdc2-abd0-4334-bcda-ea7b1caa1963.png) |
| stop_on_error_task_job |  タスクのエラーハンドリング | ![スクリーンショット 2024-10-23 23.02.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/3e312373-f899-8a86-a158-bd660307aa94.png) | 
| timeout_min | タイムアウト設定(無効の場合0となります)  | ![スクリーンショット 2024-10-23 22.53.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/259650e3-cd59-74a8-62ad-7b40c6a8c329.png) | 
| retry_count | リトライ回数  | ![スクリーンショット 2024-10-23 22.56.03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/2ce7cbcb-cc12-e18b-c362-ea1d398ed6ee.png) | 
| retry_interval_min | hoge分経過後にリトライする(リトライしない場合は0となります)  | ![スクリーンショット 2024-10-23 22.58.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/b64118de-a8e7-7720-153f-0efc10f71e01.png) | 
| skip_concurrent_execution | ジョブの重複実行  | ![スクリーンショット 2024-10-23 22.53.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/7d69195b-8a9b-8ac8-a5cf-95d78a98e8de.png) | 


## tasks階層

| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
| x | ワークフロータスクのx座標 | |
| y  | ワークフロータスクのy座標 | |
| name  | ワークフロータスクの名前。 データチェック系のタスク、HTTPリクエスト、Slack通知、Tableauデータ抽出でタスク名を入力することになりますが、そこで入力した名前が入ります。転送設定やデータマート、ワークフロー定義の名前はここには表示されません。 | |
| definition_model_id | 転送設定、マネージド転送、データマート、ワークフロー、dbt連携、TROCCOエージェントの定義のIDが入ります。それ以外のタスクの場合項目自体がないです | |
| definition_model_type | 後述する表で一覧を書いています。  | |
| src_dependencies | そのタスクが依存されているタスク番号 | 
| parallel_execution_enabled | 並列実行 | ![スクリーンショット 2024-10-30 20.34.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/ffad9acd-6e09-6cdb-e2b1-a067f81eb170.png) | 
| error_count_limit_enabled | エラーハンドリング。「エラー発生時に処理を停止」または「上限回数までエラーをスキップ」にするとtrueになる。「すべてのエラーをスキップ」でfalse | ![スクリーンショット 2024-10-30 20.37.11.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/cbb1c6ca-5157-f2ca-bfde-d0d084e75ae6.png) |
| error_count_limit | エラーハンドリング。「上限回数までエラーをスキップ」を選択したときに出てくる回数の部分 | ![スクリーンショット 2024-10-30 20.40.35.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/bbeb74c0-f08a-d010-4c83-51e3f8c7a38c.png) |


※definition_model_typeの一覧

| definition_model_type | 何を意味するか |
|:-:|:-:|
| trocco_transfer | 転送設定 |
| trocco_transfer_bulk | マネージド転送 |
| trocco_bigquery_datamart | BigQueryデータマート |
| trocco_redshift_datamart | Redshiftデータマート |
| trocco_snowflake_datamart | Snowflakeデータマート |
| trocco_pipeline | ワークフロー | 
| trocco_dbt | dbt連携 | 
| bigquery_data_check | BigQueryデータチェック | 
| snowflake_data_check | Snowflakeデータチェック | 
| redshift_data_check | Redshiftデータチェック | 
| slack_notify | Slack通知 | 
| tableau_extract | Tabueauデータ抽出 | 
| http_request | HTTPリクエスト | 


## 各タスク固有のプロパティ


### bigquery_data_check(Biguqeryデータチェック)

| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
| query  |  クエリ | ![スクリーンショット 2024-12-14 16.27.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/9cc9e232-e22c-9b84-5966-40de40592431.png) |
|  operator |  条件。greater_equal(以上) <br/> less_equal(以下) <br/> greater(より大きい) <br/> less(より小さい) <br /> equal(等しい) <br> not_equal(等しくない) | ![スクリーンショット 2024-12-14 16.28.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/306f6b2c-801c-9931-f218-0976bad600e6.png) |
|  argument |  クエリ結果 | ![スクリーンショット 2024-12-14 16.31.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/570ee3dd-5754-2ab5-714c-773443c62e38.png)  |
|  succeeded_on_null | クエリ結果がNULLの場合に成功とする  | ![スクリーンショット 2024-12-14 16.32.16.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/73bc4a09-ddd5-6cdf-55fb-176f426719e3.png) |
|  bigquery_connection_id | Google BigQuery接続情報  | |

※カスタム変数の項目名については後述


### snowflake_data_check(Snowflakeデータチェック)
※bigquery_data_checkと基本的には同じ。差分だけ記載。

| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
| warehouse | ウェアハウス | ![スクリーンショット 2024-12-14 16.35.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/b63bf9a3-05f4-7b63-f547-63d02a16536c.png) |
|  snowflake_connection_id | Snowflake接続情報  | |


### redshift_data_check(Redshiftデータチェック)
※bigquery_data_checkと基本的には同じ。差分だけ記載。

| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
| database | データベース | ![スクリーンショット 2024-12-14 16.37.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/0b973089-3e71-a8b8-3eed-1f5a004b664f.png) |
|  redshift_connection_id | Snowflake接続情報  | |


### slack_notify(Slack通知)
| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
|  slack_channel_id | 通知先 | ![スクリーンショット 2024-12-14 16.39.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/4d8ad127-0079-3c8d-706f-f009028b922e.png) |
|  slack_channel_id | 通知先 | ![スクリーンショット 2024-12-14 16.39.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/4d8ad127-0079-3c8d-706f-f009028b922e.png) |
|  message | メッセージ | ![スクリーンショット 2024-12-14 16.39.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/242fb45d-9f58-c467-0a8d-30d63dbb9227.png) |
|  ignore_error | エラー条件 <br/> エラーにする: false <br/> 成功にする: true <br/> | ![スクリーンショット 2024-12-14 16.39.57.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/12d10afc-73a8-818d-e2bd-9dd9a820d781.png) |


### tableau_extract(Tableauデータ抽出)

| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
|  tableau_connection_id | Tableau接続情報  | ![スクリーンショット 2024-12-14 17.44.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/f1651e5f-378b-4ece-bf11-21f61fb368cb.png) |
| tableau_task_id | 更新対象、データソース、実行スケジュールから導出したtableau側で定義されているtask_id | ![スクリーンショット 2024-12-14 17.45.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/b4945cc4-0e47-0efc-52e4-98540f6afe09.png) | 


## http_request(HTTPリクエスト)

| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
| url | URL  | ![スクリーンショット 2024-12-14 17.50.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/317b5c81-00b3-76a1-f0e4-65a2af679e02.png) |
| http_method | HTTPメソッド | ![スクリーンショット 2024-12-14 17.49.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/3229a8ac-8e8f-08e8-fbf2-03a13822e5fd.png) |
| http_connection_id | HTTP・HTTPS接続情報 | ![スクリーンショット 2024-12-14 17.51.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/c8f8c6d9-a1b9-15db-077c-8547b52bdb47.png) |
| request_body | HTTPリクエストボディ <br/> POSTリクエストのみ利用可 | ![スクリーンショット 2024-12-14 17.52.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/91dad4cb-553a-f134-36fb-40124a632617.png) |
| params | HTTPパラメータ <br/> マスキングを有効化すると変更履歴でも `***`のように画面に表示はされなくなります。 | ![スクリーンショット 2024-12-14 17.52.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/a0d4a22d-0eab-0aef-dc96-baa24fc3b8a4.png) |
| headers | HTTPヘッダ |　![スクリーンショット 2024-12-14 17.52.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/a2efd832-75a6-d116-bcfb-1807e73b3691.png) |


## trocco_transfer(転送設定)、
固有の設定はないです。すべての設定の詳細は転送設定で定義されているので、変更履歴にはdefinition_model_idで定義されたのIDを参照できるようにされるだけとなります。

## trocco_transfer_bulk(マネージド転送)
↑と同じ

## trocco_bigquery_datamart(Bigqueryデータマート)
↑と同じ

## trocco_redshift_datamart(Redshiftデータマート)
↑と同じ

## trocco_snowflake_datamart(Snowflakeデータマート)
↑と同じ

## trocco_pipeline(ワークフロー)
↑と同じ

trocco_dbt(Dbt連携)
↑と同じ


## その他共通的な設定

### カスタム変数
カスタム変数が設定できるタスクについてはそのtask配下にcustom_variable_settingsというkey名でカスタム変数についての変更履歴が閲覧できます。

| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
| name | 変数名 | ![スクリーンショット 2024-12-14 17.59.57.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/4bbfa322-2fce-087c-be6b-c551d6050e15.png) | 
| type | データ型 <br/> string: 文字列<br/ > timestamp: キューイング時 <br /> timestamp_runtime: 実行時 | ![スクリーンショット 2024-12-14 18.00.12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/20abf51b-1f8e-153a-f19f-4f705afaa01a.png) | 
| value | 値 <br/ > 文字列のカスタム変数のみ利用可 | ![スクリーンショット 2024-12-14 18.09.30.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/4a198797-5872-424a-2ede-d944810ac4de.png) | 
| quantity | 値 <br/> 日時系のカスタム変数のみ利用可 | ![スクリーンショット 2024-12-14 18.01.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/ac3fa340-8d1a-da71-66b0-d5cb54c7c887.png) | 
| unit | 単位 <br/>　日時系のカスタム変数のみ利用可<br/> hour: 時間 <br/> date: 日 <br/> month: 月 | ![スクリーンショット 2024-12-14 18.02.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/b51032a0-0292-5843-0fde-9417de9cba32.png) | 
| direction | 前/後 <br/>　日時系のカスタム変数のみ利用可  <br/> ago: 前<br/> later: 後 | ![スクリーンショット 2024-12-14 18.02.45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/caad2c35-4780-3b04-0344-74484c31cf28.png) | 
| format | 日付フォーマット <br/>　日時系のカスタム変数のみ利用可 | ![スクリーンショット 2024-12-14 18.02.58.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/9900f6ee-32b4-41ca-b671-1ed2c0b815e4.png) | 
| time_zone | タイムゾーン <br/>　日時系のカスタム変数のみ利用可 | ![スクリーンショット 2024-12-14 18.03.11.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/b04cd64d-10bc-4033-639b-354cbcad89c0.png) | 



### カスタムループ設定
カスタム変数ループが設定できるタスクの場合、そのtask配下にcustom_variable_loop_settingというkey名でカスタム変数についての変更履歴が閲覧できます。

カスタム変数ループの種類は大きく文字列を指定してループ、日時の範囲に対してのループ、DWHへのクエリ結果に対してのループの3つあり、それぞれ出力される項目が違うので、それぞれまとめます。

#### 文字列でのループ設定

以下のように文字列を直接指定するようなパターンです。
![スクリーンショット 2024-12-14 18.14.29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/fb405024-2e47-b310-1ef3-e0049f2cd719.png)



| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
| 実際のカスタム変数名 | - | ![スクリーンショット 2024-12-14 18.17.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/04d340ae-52ac-6933-167c-7fe9bfcfcf12.png) | 
| loop_type | ループの種類(文字列でのループの場合、 `string` という値が入ります) | ![スクリーンショット 2024-12-14 18.19.01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/cf280377-bcad-1e17-3f7d-64790609ee8f.png) |
| string_value | 実際の指定した値 | ![スクリーンショット 2024-12-14 18.21.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/9fca0b0a-779c-8cc2-9f49-aff0f5304464.png) |

以下の画像のように定義されます。
![スクリーンショット 2024-12-14 18.21.48.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/f847b36b-98d1-de0c-70d6-8149efd514a8.png)


#### 期間(相対指定)でループ

| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
| 実際のカスタム変数名 | - | ![スクリーンショット 2024-12-14 19.57.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/b81518b1-dd19-93e1-9f1d-2fea1fd26e29.png) | 
| loop_type | relative_range | | 
| interval | ループ間隔<br/> date: 1日 <br/> month: 1ヶ月 <br/> year: 1年 |　![スクリーンショット 2024-12-14 19.55.17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/585cb652-1f5b-8a14-5e0d-79d94d460225.png) | 
| relative_range_start_value | 期間 | ![スクリーンショット 2024-12-14 19.55.48.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/a88b8eec-b32c-bbd1-d1d5-2bd4d5dac9dc.png) | 
| relative_range_start_unit | 期間<br/> date: 日前 <br/> month: ヶ月前 <br/> year: 年前  | ![スクリーンショット 2024-12-14 19.55.55.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/40de523c-d966-b435-b2d2-c549ad345057.png) | 
| relative_range_end_value | 期間 | ![スクリーンショット 2024-12-14 19.56.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/cba96411-cbb8-2fa2-dd85-74586eb497c9.png) | 
| relative_range_end_unit | 期間<br/> date: 日前 <br/> month: ヶ月前 <br/> year: 年前 | ![スクリーンショット 2024-12-14 19.56.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/defbf166-af86-be1d-426a-4df9bcada0e7.png) | 
| relative_range_offset_value | - | ![スクリーンショット 2024-12-14 19.56.30.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/0f6ecd39-dd1f-c9e7-9ad6-c695ca506537.png) | 
| relative_range_offset_unit | date_ago: 日前 <br/> date_later: 日後 <br/> month_ago: 月前<br/> month_later: 月後 <br/> year_ago: 年前<br/> year_later: 年後 | ![スクリーンショット 2024-12-14 19.54.39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/534707bf-0451-78ab-b72e-b6d77bb16a51.png) | 
| time_zone | タイムゾーン | ![スクリーンショット 2024-12-14 20.04.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/7fe676e3-0b10-9251-a68f-563d7975fa35.png) | 

履歴はこんな感じで見れます

![スクリーンショット 2024-12-14 20.25.44.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/2978100e-c7da-c54a-96b3-ec4514801ca7.png)


## クエリ結果でループ

| キー名 | 画面上の名前 | スクショ | 
|:-:|:-:|:-:|
| column_mapping | - <br/> クエリ結果の場合、クエリ結果のカラム順にカスタム変数に割り当てられます。その 順番のindexをkeyにしてvalueにカスタム変数名というjsonが変更履歴には表示されます。 | ![スクリーンショット 2024-12-14 20.08.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/e0c24583-970d-f4fc-6748-e3439a6d476a.png) | 
| loop_type | bigquery or snowflake or redshift |  | 
| [bigquery or snowflake or redshift]_connection_id | [Google BigQuery or Snowflake or Redshift ]接続情報 | ![スクリーンショット 2024-12-14 20.08.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/35ecd4ea-88cd-f82d-27c1-06a8cad992e0.png) | 
| query | クエリ | ![スクリーンショット 2024-12-14 20.09.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/155328/933da3ab-b00c-037e-689c-f9d51ba67828.png) | 


# おわりに

Have a nice Christmas🎄🎁