ワークフローエンジンDigdagのまとめ

![](https://www.digdag.io/wp-content/uploads/2016/11/DigDag_horizontal.png)
[![](https://api.bintray.com/packages/digdag/maven/digdag/images/download.svg)](https://bintray.com/digdag/maven/digdag/_latestVersion)


2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社で[Treasure Workflow](https://docs.treasuredata.com/articles/workflows#digdag-vs-treasure-workflow)として提供しています。こちらの情報も収集しています。

変更内容が気になる方は変更履歴をご覧ください。

## 1. 開催されるイベント


## 2. オフィシャルページ

* [オフィシャルページ](http://www.digdag.io) 
* [ソースリポジトリ](https://github.com/treasure-data/digdag)

## 3. チュートリアル

* [Getting started](http://docs.digdag.io/getting_started.html) (英語)
* [Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag
](http://dev.classmethod.jp/server-side/getting-started-digdag/) (日本語)
* [Digdag 入門](http://recruit.gmo.jp/engineer/jisedai/blog/introduction-to-digdag/)
* [Digdagのアーキテクチャとコンセプトを理解する](http://dev.classmethod.jp/server-side/understanding-digdag-architecture-and-concepts/)
* Treasure Workflow for ビギナー
  * [環境構築編](http://blog.torut.tokyo/entry/2017/08/01/233655)
  * [digファイル書き方編](http://blog.torut.tokyo/entry/2017/08/01/070000)

* Digdag公式ドキュメントからDigdagを学ぶ @HavenSpring さん
  * [Getting started](https://qiita.com/HavenSpring/items/92ad70c33f73ab613d08)
  * [アーキテクチャ](https://qiita.com/HavenSpring/items/572075dcc8b3c8640072)
  * [Concepts](https://qiita.com/HavenSpring/items/c850db3b564a7d6dc99c)
  * [Workflow definition](https://qiita.com/HavenSpring/items/2a8b84ac8fb4da2d9968)
  * [Scheduling workflow](https://qiita.com/HavenSpring/items/9f47a34884ba06d93264)
  * [Operators①Workflow control operators](https://qiita.com/HavenSpring/items/1f9b26a71c86fc9d4607)
  * [Language API-Ruby](https://qiita.com/HavenSpring/items/b11527d92d259bd3ab48)
  * [Digdagで環境毎に設定値を変える（RubyOnRails）](https://qiita.com/HavenSpring/items/bb1c7fbae9175c1f9479)
  * [Digdagを用いてRubyOnRails環境でバッチ実装](https://qiita.com/HavenSpring/items/b3c3e26ef868f8d5eaf4)

## 4. 雑誌・書籍

* WEB+DB PRESS Vol.94 [OSSによるデータ分析基盤の構築 Embulk、Re:dash、Digdag](http://gihyo.jp/magazine/wdpress/archive/2016/vol94)
* 2017/9/21 データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化](技術評論社) Digdagのことも少し掲載されています。

## 5. サードパーティプラグインとツール

### 5.1 サードパーティプラグイン

公開されているサードパーティ製プラグインの一覧です。プラグインの使い方はdigdag-slackの使い方を参考にしてください。

* [digdag-slack](https://github.com/szyn/digdag-slack/commits/master) slackに通知を行うことができるプラグイン [使い方](http://iroilog.net/2017/04/digdag-slack/)
* [retz-digdag-plugin](https://github.com/retz/retz-digdag-plugin) [Retz](https://github.com/retz/retz)([Mesos](http://mesos.apache.org)向けJob Queue)のジョブ定義や実行を管理することができるプラグイン ([関連資料](https://speakerdeck.com/kuenishi/introducing-retz-and-how-to-develop-practical-frameworks))
* [digdag-plugin-ssh](https://github.com/hiroyuki-sato/digdag-plugin-ssh) sshでコマンドを実行するオペレーター(ご不明な点は[hiroysato](https://twitter.com/hiroysato)までお問い合わせください)。
* [digdag-hangouts-chat](https://github.com/tamanyan/digdag-hangouts-chat) Hangouts Chatに通知を行う事ができるプラグイン
* [digdag-plugin-mysql](https://github.com/hiroyuki-sato/digdag-plugin-mysql) mysqlにクエリするオペレーター(ご不明な点は[hiroysato](https://twitter.com/hiroysato)までお問い合わせください)。
* [digdag-plugin-dfs_wait](https://github.com/kimutansk/digdag-plugin-dfs_wait) Digdag `dfs_wait>` operator plugin to wait for files on DFS.
* [k8s_job](https://github.com/septeni-original/k8s_job) Kubernetesジョブ用のオペレーター (Scala製)
* [digdag-operator-emr_fleet](https://github.com/civitaspo/digdag-operator-emr_fleet) EMR を Instance Fleets 使って立ち上げる digdag plugin [解説](https://tech.gunosy.io/entry/introduce-digdag-plugins#digdag-operator-emr_fleet)
* [digdag-operator-athena](https://github.com/civitaspo/digdag-operator-athena) athena のクエリを叩いて結果を CSV で S3 のどこかに保存するプラグイン [解説](https://tech.gunosy.io/entry/introduce-digdag-plugins#digdag-operator-athena)
* [digdag-plugin-shresult](https://github.com/takemikami/digdag-plugin-shresult) シェルの実行結果を変数に設定するプラグイン [解説](http://takemikami.com/2018/06/08/foreachDigdag.html)
* [digdag-operator-cost_explorer](https://github.com/civitaspo/digdag-operator-cost_explorer)  [AWS CostExplorer](https://aws.amazon.com/jp/aws-cost-management/aws-cost-explorer/)をAPI 的には {"AND":[conditions...]} のようにnested jsonで表現しないとfilterをかけないところをSQLのwhere文で表現できるプラグイン
* [digdag-operator-param](https://github.com/civitaspo/digdag-operator-param) dig 上で param を操作できるシンプルなPlugin [解説](https://tech.gunosy.io/entry/introduce-digdag-plugins#digdag-operator-param)
* [digdag-operator-ecs_task](https://github.com/civitaspo/digdag-operator-ecs_task) digdagからECS Task Definition登録してRunしてWaitして、S3に仕様どおりに結果吐いてくれたらdigdagに結果を返したりできる君 [解説](https://tech.gunosy.io/entry/introduce-digdag-plugins#digdag-operator-ecs_task)
* [digdag-plugin-azure](https://github.com/kencharos/digdag-plugin-azure) Microsoft Azureのためのプラグイン
* [digdag-plugin-mssql](https://github.com/kulmam92/digdag-plugin-mssql) Microsoft SQLServerを利用するためのプラグイン
* [digdag-operator-livy](https://github.com/civitaspo/digdag-operator-livy) [Apache Livy](https://livy.incubator.apache.org)を操作する Plugin です。[解説](https://tech.gunosy.io/entry/introduce-digdag-plugins#digdag-operator-livy)
* [digdag-plugin-sshresult](https://github.com/yuhiwa/digdag-plugin-sshresult) sshでリモートの実行結果を変数に代入できるsshresultプラグイン
* [digdag-plugin-s3-touch](https://github.com/tosametal/digdag-plugin-s3-touch) S3にファイルをアップロードするプラグイン
* [digdag-plugin-datadog](https://github.com/NomadBlacky/digdag-plugin-datadog) Datadogプラグイン
* [digdag-plugin-glue](https://github.com/supimen/digdag-plugin-glue) AWS GlueのETLジョブとクローラーをDigdagから実行するプラグイン
* [digdag-operator-pg_lock](https://github.com/civitaspo/digdag-operator-pg_lock) Digdag Workflow実行中にPostgreSQLを使ったLockを取得できるPluginです。 [解説](https://tech.gunosy.io/entry/digdag-operator-pg_lock)
* [digdag-plugin-myjdbc](https://github.com/katsuyan/digdag-plugin-myjdbc) 任意のJDBC(ex. PureData)ライブラリを利用するオペレータ ([解説](https://qiita.com/katsuyan/items/81d8d41111bfab73cb17)).
* [digdag-operator-gke](https://github.com/st-tech/digdag-operator-gke) k8s command executor上で動くgke operator的なプラグイン
* [digdag-operator-store_gke_config](https://github.com/TrsNium/digdag-operator-store_gke_config) gkeのkube configをstoreするだけのオペレータ
* [digdag-operator-bq-wait](https://github.com/DeNA/digdag-operator-bq-wait) BigQuery のデータロード、データ更新が行われたタイミングですぐにそのデータを使った処理を開始させることができるオペレータ
* [digdag-plugin-glue](https://github.com/supimen/digdag-plugin-glue)
* [digdag-operator-aws-appconfig](https://github.com/emanon-was/digdag-operator-aws-appconfig) AWS AppConfig から値取ってきて StoreParams に突っ込むプラグイン
* [digdag-plugin-sentry](https://github.com/to-lz1/digdag-plugin-sentry) エラーをSentryに送信するプラグイン
* [digdag_operator_snowflake](https://github.com/flinters/digdag_operator_snowflake) DigdagでSnowflakeを利用するプラグイン


### 5.2 ツール

* [mog](http://iroilog.net/2017/06/release-mog/) Go言語製 Digdag Client
* [digdag_client](https://github.com/saicologic/digdag_client) Rubyで書かれたDigdagのクライアントライブラリ
* [tdworkflow](https://pypi.org/project/tdworkflow/) Python クライアント(現在は多分Treasure Workflow用)
* [digdag-worker-crd](https://github.com/TrsNium/digdag-worker-crd) A horizontal pod autoscaler for digdag worker [解説記事](http://hiratarosu.hateblo.jp/entry/2020/02/20/225810)

## 6. Digdagの特徴(著者調べ)

* [loopを使った繰り返しのサポート](https://twitter.com/frsyuki/status/839802678825775108)
* [PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設計](https://twitter.com/frsyuki/status/839797866117783553)
* YAMLファイルでの記述で読みやすい。(正確にはYAMLのようなフォーマット)

### 6.1 拡張子は.dig、フォーマットはYAML

<blockquote class="twitter-tweet" data-lang="ja"><p lang="ja" dir="ltr">digdagのファイルの拡張子が .yml じゃなくて .dig なのは、普通のYAMLと違ってmapのキーの順番が維持される必要があるから、ってどこかで言ったっけ</p>&mdash; Sadayuki Furuhashi (@frsyuki) <a href="https://twitter.com/frsyuki/status/769001319675727873">2016年8月26日</a></blockquote> <script async src="//platform.twitter.com/widgets.js" charset="utf-8"></script>

## 7. エディタのシンタックスハイライト

いくつかの専用モードが提供されています。エディタにDigdag専用のモードがない場合は、YAML形式でハイライトするようにすれば良いようです。

### 7.1 Atomの場合

* [Syntax highlighting to Digdag file in Atom](http://qiita.com/Lewuathe/items/28d4fd831ef5abd81045)

### 7.2 Vimの場合

``.vimrc``に次のように記述します。(違ったら教えてください)

```
autocmd BufNewFile,BufRead *.dig set filetype=yaml
autocmd Syntax yaml setl indentkeys-=<:>
```

詳細は[digdag の .dig ファイル向け vim 設定](https://qiita.com/sonots/items/9409c935117ea846fd2e)をご覧ください。

### 7.3 emacsの場合

* [emacs-digdag-mode](https://github.com/syohex/emacs-digdag-mode) [@syohex](https://twitter.com/syohex/status/753567032612827136)

yaml-modeをそのまま利用する場合([@syohex](https://twitter.com/syohex/status/753569634486333441)さん,[@cocoatomo](https://twitter.com/cocoatomo/status/753573114546487296)さん)

```el
(add-to-list 'auto-mode-alist '("\\.dig\\'" . yaml-mode))
```

### 7.4 VSCodeの場合

[Digdag Support for Visual Studio Code (vscode-digdag)](https://github.com/msysyamamoto/vscode-digdag)

### 7.5 IntelliJの場合

環境設定のEditor -> FileTypes -> Yamlに `*.dig`を追加

参考: [Set file type associations﻿](https://www.jetbrains.com/help/idea/creating-and-registering-file-types.html)

<img width="1109" alt="IntelliJ.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61464/c54efe46-01e2-9af8-12b0-a7e55c1bf6b7.png">


## 8. 読むと良い資料集(独断と偏見)

### 8.1 変数

* [Digdagで環境毎に設定値を変えたい時のTips](http://iroilog.net/2017/09/digdag-params-tips/)
* 2019/01/26 [Digdagのserverモードで環境毎に設定値を変える６つの方法](https://qiita.com/sonots/items/4cd45edef2b35421c8a0)
* 2020/03/12 [とりあえずexportしない！Digdag変数・パラメータの使い方全種](https://dev.classmethod.jp/tool/digdag_all_types_of_variables/)

## 9. 過去のイベント

* :bar_chart: スライド
* :movie_camera: ビデオ
* :bookmark_tabs: その他リンク
 
| 発表年月日 | タイトル                              | イベント名         |
|-----------|--------------------------------------|-------------------|
| 2015/12/14 | ワークフロー開発管理 実践編 | [Workflow Hacks! #1](http://eventdots.jp/event/574963) |
| 2016/5/30 | 分散ワークフローエンジン『DigDag』の実装([:bar_chart:](https://www.slideshare.net/frsyuki/digdag-at-tokyo-rubykaigi-11) [:movie_camera:](https://www.youtube.com/watch?v=OAaFr_CnXvk) [:bookmark_tabs:](http://regional.rubykaigi.org/tokyo11/interview/frsyuki/)) | Tokyo Ruby会議#11 |
| 2016/6/18 | EmbulkやDigdagのお話([:bar_chart:](http://www.slideshare.net/ToruTakahashi4/embulkdigdag)) | [第五回ゲームサーバ勉強会](http://eventdots.jp/event/590582) |
| 2016/7/2 | サービスに寄り添うログ基盤 / (三宅悠介さん) ([:bar_chart:](https://speakerdeck.com/monochromegane/pepabo-log-infrastructure-bigfoot)) | はてな・ペパボ技術大会 |
| 2016/7/14 | なぜDigdagのワークフロー定義はYAMLなのか(古橋 貞之さん)([:bar_chart:](http://www.slideshare.net/frsyuki/digdagyaml)) | [Treasure Data Tech Talk 201607](http://eventdots.jp/event/592970)  |
| 2016/7/14 | 3 Months Into Treasure Data(Daniel Norbergさん) | [Treasure Data Tech Talk 201607](http://eventdots.jp/event/592970)  |
| 2016/8/4 | Digdag@表参道.rb#14(Takuya Aritaさん)([:bar_chart:](http://ariarijp.hatenablog.com/entry/2016/08/05/104716)[:bookmark_tabs:](http://ariarijp.hatenablog.com/entry/2016/08/05/104716))  | @表参道.rb#14  |
| 2016/09/26 | EmbulkとDigdagで作るRedshiftデータマート(川崎照夫さん)[:bar_chart:](http://dev.classmethod.jp/cloud/aws/event-report-bigdata-jaws-2-1/)| [BigData-JAWS 勉強会#2](http://jawsug-bigdata.connpass.com/event/39320/) |
| 2016/10/18 | DigdagでCIジョブを定義する(Kousuke Adachi(foostan)さん) [:bar_chart:](https://speakerdeck.com/foostan/digdag-te-ci-siyohuwoding-yi-suru) | 五反田.rb#10 |
| 2016/11/29 | Automating Workflows for Analytics Pipelines(古橋 貞之さん)([:bar_chart:](http://www.slideshare.net/AmazonWebServices/aws-reinvent-2016-automating-workflows-for-analytics-pipelines-dev401)[:movie_camera:](https://www.youtube.com/watch?v=odmTIZt4WFM)) | AWS re:Invent 2016 |
| 2017/1/12 | DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発(古橋 貞之さん) |[Treasure Data Tech Talk 2017新春](https://eventdots.jp/event/609195)|
| 2017/2/17 | スタディサプリを支えるデータ分析基盤 ～設計の勘所と利活用事例(山邉 哲生さん)([:bar_chart:](https://www.slideshare.net/beniyama/ss-72260669)) |[デブサミ2017](http://event.shoeisha.jp/devsumi/20170216)|
| 2017/3/8  | WorkFlowEngine Digdagの導入(ameshoさん)([:bar_chart:](https://speakerdeck.com/amesho/workflowengine-digdagfalsedao-ru)) | [【React / Digdag / Terraform勉強会】- 続々と新規事業を創出する、ランサーズの開発チーム](https://eventdots.jp/event/613713) |
| 2017/3/9  | Digdagの特徴とQuick Start(古橋 貞之さん)| [Workflow Engines Meetup #1](https://connpass.com/event/50900/) |
| 2017/4/26 | freee のデータ分析基盤について(山口正人さん)[:bar_chart:](https://speakerdeck.com/krtk2k/freee-falsedetafen-xi-ji-pan-nituite) | [デーバ分析基盤Night #2](https://data-platform.connpass.com/event/53430/) |
| 2017/5/15 | 技術的負債と向き合う(伊藤直也さん) [:bar_chart:](https://speakerdeck.com/naoya/ji-shu-de-fu-zhai-toxiang-kihe-u) | [オープンソースセミナー2017@岡山](https://oso.connpass.com/event/53811/) |
| 2017/5/18 | Redshiftまでの大規模データフロー制御(鈴木 浩之さん) [:bar_chart:](https://github.com/bdjaws/workshop/raw/master/20170518/JAW_BD_7_NTTDOCOMO.pdf) | [BigData-JAWS 勉強会(第7回)](https://github.com/bdjaws/workshop/tree/master/20170518) |
| 2017/06/01 | Automating Workflows for Analytics Pipelines(古橋 貞之さん)[:bar_chart:](https://www.slideshare.net/frsyuki/automating-workflows-for-analytics-pipelines) |[Open Source Summit](http://events.linuxfoundation.org/events/open-source-summit-japan) |
| 2017/06/02 | ECSにおける バッチ運用について(畑中悠作さん)[:bar_chart:](https://speakerdeck.com/hatappi/ecsniokeru-batutiyun-yong-nituite) | JAWS-UG勉強会 【AWS Summit 2017】 | 
| 2017/06/07 | Treasure DataにおけるDigdagによる大規模データ処理の自動化とエラー処理(古橋 貞之さん)[:bar_chart:](https://www.slideshare.net/frsyuki/digdag-76749443) | [Workflow Engines Night](https://atnd.org/events/88470) | 
| 2017/06/07 | Digdagへ日次バッチを移行して幸せになるお話(鈴木 翔太さん)[:bar_chart:](https://speakerdeck.com/dmmlabo/digdagheri-ci-batutiwoyi-xing-sitexing-seninaruohua) | [Workflow Engines Night](https://atnd.org/events/88470) |
| 2017/06/07 | Digdagを使ってみて便利だったとこ、はまったとこ(塩崎 健弘さん)[:bar_chart:](https://speakerdeck.com/shiozaki/using-digdag-in-production-environment) | [Workflow Engines Night](https://atnd.org/events/88470) | 
| 2017/06/07 | とあるマーケティング部隊でのDigdagの活用事例(grimroseさん)[:bar_chart:](https://gist.github.com/grimrose/5bea98db4c82056dad1ab84d6653308e) | [Workflow Engines Night](https://atnd.org/events/88470) | 
| 2017/06/09 | Digdag x Dockerでモダンなバッチ処理環境を構築(モリジュンさん)[:bar_chart:](https://speakerdeck.com/morizyun/digdag-x-dockertemotannahatutichu-li-huan-jing-wogou-zhu) [:bookmark_tabs:](http://morizyun.github.io/digdag/index.html) | 社内勉強会のLT | 
| 2017/07/01 | 「RedshiftとDigdagで始める!クラウド・データ分析基盤の勘ドコロ」(川崎照夫さん) | [Developers.IO 2017](http://dev.classmethod.jp/news/developers-io-2017/) |
| 2017/07/21 | 分析基盤をECS上で実装(子安輝さん) | [JAWS-UG コンテナ支部 #9](https://jawsug-container.connpass.com/event/60798/) |
| 2017/07/25 | Introducing Retz and how to develop practical frameworks　[:bar_chart:](https://speakerdeck.com/kuenishi/introducing-retz-and-how-to-develop-practical-frameworks)(上西康太さん) | [Mesos Meetup Tokyo #2](https://mesos.connpass.com/event/58545/)|
| 2017/08/10 | 僕らはStackStormをどう使うべきか (萬治 渉さん) [:bar_chart:](https://speakerdeck.com/ntttechnocross/ntt-techconference-number-2-stackstorm) | NTT TechConference #2 |
| 2017/08/25 | DMM.comのビッグデータ基盤を支える技術(鈴木 翔太さん/吉田 龍馬さん) [:bar_chart:](https://speakerdeck.com/dmmlabo/dmm-dot-comfalsebitugudetaji-pan-wozhi-eruji-shu)[:bookmark_tabs:](https://inside.dmm.com/entry/2017/09/11-dmmlabotech-bigdata) | [TECH PLAY Conference 2017](https://techplay.jp/contents/techplayconf2017) |
| 2017/09/06 | Introduction Retz(上西康太さん) [:bar_chart:](https://speakerdeck.com/kuenishi/introducing-retz-1) | [db tech showcase tokyo 2017](http://www.db-tech-showcase.com/dbts/tokyo) |
| 2017/09/19 | 動画系メディア会社で行われているETLの実際(島田雅年さん) [:bar_chart:](https://speakerdeck.com/smdmts/etl-in-the-media-company) | [新宿Geek Lounge#3 分析基盤 Meetup](https://shinjuku-geek-lounge.connpass.com/event/65261/) | 
| 2017/09/19 | セプテーニで分析基盤(Treasure Data)を導入した話(木村彰宏さん) [:bar_chart:](https://speakerdeck.com/kimutyam/seputenidefen-xi-ji-pan-treasure-data-wodao-ru-sitahua) | [新宿Geek Lounge#3 分析基盤 Meetup](https://shinjuku-geek-lounge.connpass.com/event/65261/) | 
| 2017/10/10 | Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方 [:bar_chart:](https://www.slideshare.net/y-ken/fluentd-digdag-embulk-used-data-analysis-platform-80690934) リブセンス吉田健太郎さん |  [データ分析基盤構築入門 - pixiv Night #06](https://pixiv.connpass.com/event/67946/) |
| 2018/02/15 | Digdagを導入してみて[:bar_chart:](https://speakerdeck.com/dmmlabo/digdagwodao-ru-sitemite)[:movie_camera:](https://youtu.be/kK80-awh_NM?t=9054) DMM.comラボ 鈴木翔太さん | [PLAZMA OSS Day: TD Tech Talk 2018 ](https://techplay.jp/event/650389) |
| 2018/02/17 | Hivemall meets Digdag [:bar_chart:](https://www.slideshare.net/myui/hivemall-meets-digdag-hackertackle-20180217-88165828) トレジャーデータ 油井誠さん |[HACKER TACKLE](http://hackertackle.github.io/2018/) |
| 2018/02/19 | Machine Learning and Natural Language Processing on Treasure CDP [:bar_chart:](https://speakerdeck.com/takuti/machine-learning-and-natural-language-processing-on-treasure-cdp)[:bookmark_tabs:](https://takuti.me/note/td-tech-talk-plazma/) Treasure Data Takuya Kitazawa さん | [PLAZMA TD Internal Day: TD Tech Talk 2018](https://techplay.jp/event/650390) |
| 2018/02/07 | Diary of Suport Engineering Manager [:bookmark_tabs:](https://www.slideshare.net/torutakahashi100/dairy-of-support-engineering-manager) トレジャーデータ 高橋達さん| [サポートエンジニアNight vol.2](https://techplay.jp/eventreport/651515) |
| 2018/02/20 | 52 weeks after Digdag operation [:bar_chart:](https://speakerdeck.com/amesho/52-weeks-after-digdag-operation)[:bookmark_tabs:](https://engineer.blog.lancers.jp/2018/02/study_group_of_site_reliability_engineering/)ランサーズ株式会社ameshoさん | [事業の多角化を支えたランサーズ的SRE術](https://techplay.jp/event/654623) |
| 2018/5/23 | TreasureDataのエコシステムで作るロバストなETLデータ処理基盤のつくりかた [:bar_chart:](https://www.slideshare.net/y-ken/how-to-built-robust-etl-platform-98461645) トレジャーデータ 吉田 健太郎さん |[PLAZMA Data Engineer Day: TD Tech Talk 2018](https://techplay.jp/event/669346) |
| 2018/05/23 | AudienceOneにおけるTreasureData活用方法 [:bar_chart:](https://www.slideshare.net/RyosukeKawahara1/audienceonetreasuredatatd-tech-talk-20180523) デジタル・アドバタイジング・コンソーシアム株式会社河原 亮介さん | [PLAZMA Data Engineer Day: TD Tech Talk 2018](https://techplay.jp/event/669346) |
| 2018/07/02 | 系列分析を利用したサーバの負荷予測・異常検知(非公開) 株式会社LIFULL 相原 魁さん | [Ltech#1 LIFULL HOME'S 機械学習Night](https://lifull.connpass.com/event/90065/) |
| 2018/09/05 | Heroku Container Registry & Runtime + digdagで お手軽バッチ処理環境を作ってみた (リブセンス須貝俊さん)[:bar_chart:](https://speakerdeck.com/shunsugai/heroku-container-registry-and-runtime-plus-digdagde-oshou-qing-batutichu-li-huan-jing-wozuo-tutemita) | [Heroku Meetup #22](https://herokujp.doorkeeper.jp/events/78220)|
| 2018/10/17 | Managing Machine Learning workflows on Treasure Data (トレジャーデータ Michiaki Arigaさん)[:bar_chart:](https://www.slideshare.net/chezou/managing-machine-learning-workflows-on-treasure-data) | [MA TD Tech Talk 2018 at Shibuya : Part 2](https://techplay.jp/event/694468)|
| 2018/10/17 | データエンジニアリング業を加速するPresto UDFとdigdaの活用方法 (トレジャーデータ 吉田健太郎さん)[:bar_chart:](https://www.slideshare.net/y-ken/improve-data-engineering-work-with-digdag-and-presto-udf-119818224) | [MA TD Tech Talk 2018 at Shibuya : Part 2](https://techplay.jp/event/694468)|
| 2018/10/17 | カスタムスクリプトを Workflow から実行する仕組みとその実行環境 (トレジャーデータ 西澤無我さん)[:bar_chart:](https://www.slideshare.net/muga.nishizawa/custom-script-execution-environment-on-td-workflow-td-tech-talk-20181017) | [MA TD Tech Talk 2018 at Shibuya : Part 2](https://techplay.jp/event/694468)|
| 2018/11/1 | レシピ動画メディア『DELISH KITCHEN』を支える、作らない分析基盤のススメ [:bar_chart:](https://speakerdeck.com/smdmts/dwh-for-startup-with-yagni) 株式会社エブリー島田雅年さん | [BitStar x Every.tv](https://techplay.jp/event/702148) |
| 2018/12/12 | 業務でバッチのジョブを基盤としてk8sを活用した話 [:bar_chart:](https://gitpitch.com/takashima0411/sgl_k8s/master/)[:bookmark_tabs:](https://github.com/takashima0411/sgl_k8s/blob/master/PITCHME.md) 株式会社セプテーニ・オリジナル高嶋隆博さん | [新宿 Geek Lounge#6 Kubernetes Meetup ](https://shinjuku-geek-lounge.connpass.com/event/106820/) |
| 2019/2/14 | ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 [:bar_chart:](https://gitpitch.com/takashima0411/sgl_k8s/master/)[:bookmark_tabs:](https://speakerdeck.com/shiozaki/moving-zozotown-dwh-from-redshift-to-bigquery)[:bookmark_tabs:](https://togetter.com/li/1319187) 株式会社ZOZOテクノロジーズ塩崎健弘さん | [デブサミ2019](https://event.shoeisha.jp/devsumi/20190214/session/1934/) |
| 2019/3/7 | データドリブンを提供するサービスBrand Officialのアーキテクチャについて [:bar_chart:](https://speakerdeck.com/anntoque/brand-official-architecture) 株式会社アイスタイル YASU11552288さん | [Data Driven Developer Meetup #5](https://d3m.connpass.com/event/118371/)|
| 2019/4/16 | digdagで支えるデータパイプライン [:bar_chart:](https://speakerdeck.com/yukiyan/building-a-data-pipeline-with-digdag) JUBILEE WORKS 若林裕礎さん | [Data Pipeline Casual Talk Vol.2](https://dpct.connpass.com/event/121371/)|
| 2019/6/27 | 本当にあったdigdag(とembulk)のつらい話 [:bar_chart:](https://speakerdeck.com/showyou/a-horror-story-of-digdag) showyuさん | [Data Pipeline Casual Talk Vol.3](https://dpct.connpass.com/event/130109/)|
| 2019/7/19 | DigdagでETLを処理する [:bar_chart:](https://speakerdeck.com/tosametal/digdagdeetlchu-li-wosuru) マイクロアド 中野翔太(tosametal)さん | [データとML周辺エンジニアリングを考える会 #2](https://data-engineering.connpass.com/event/136756/)|
| 2019/7/31 | Digdag と Embulk と Athena で作る Gunosy の ELT基盤 [:bar_chart:](https://speakerdeck.com/civitaspo/digdag-to-embulk-to-athena-dezuo-ru-gunosy-false-eltji-pan) Gunosy 中山 貴博(Civitaspo)さん | [データ分析基盤Developers Night #3](https://techplay.jp/event/740541)|
| 2019/7/31 | k8sでJob管理 [:bar_chart:](https://speakerdeck.com/wataru420/k8sdejobguan-li-at-oresikanaitovol-dot-10) AbemaTV 福永 亘さん | [オレシカナイトVol.10](https://cyberagent.connpass.com/event/128545/)|
| 2020/06/09 | embulk, digdagを用いたデータ基盤構築 [:bar_chart:](https://speakerdeck.com/ttccddtoki/embulk-digdagniyorudetaji-pan-gou-zhu) タイミー土川 稔生さん | [第4回 データアーキテクト（データ整備人）を”前向きに”考える会](https://analytics-and-intelligence.connpass.com/event/176896/) |


## 10. 開発者向け

* プラグイン
  * [オペレータを自作するためのサンプル](https://github.com/treasure-data/digdag/tree/master/digdag-tests/src/test/resources/acceptance/plugin/digdag-plugin-example)
  * [ワークフローエンジンDigDagのプラグイン機能を試してみる](http://blog.techium.jp/entry/2016/07/04/090000)
  * [digdag-plugin-example](https://github.com/myui/digdag-plugin-example/) [hivemall](https://github.com/myui/hivemall)開発者のmyuiさんによるプラグインの例
* コーディングスタイル: Embulk&Prestoと同じAirlift
  * [EmbulkのJavaコードで使われているコーディングスタイルAirliftってどんなスタイル？](http://qiita.com/hiroysato/items/d1a57a8c4fe1ed4053a5)
  * [Embulkのソースコードスタイルチェック方法 (Java編)](http://qiita.com/hiroysato/items/584eafb4a94a961fa571) 

## 11. TIPS

* for_eachオペレータで配列を使いたい場合
  * [現状for_eachは配列をサポートしていません。](https://github.com/treasure-data/digdag/issues/136)
  * 回避策: [loopを代わりに使います](https://gist.github.com/smdmts/95af589b7d1d6412872fe835b6258131#file-loop-dig) [@smdmtsさん](https://twitter.com/smdmts/status/751318072808476672)
* [Pythonを並列実行する場合のtips](https://twitter.com/smdmts/status/751325043473297408)
* 変数のデバッグ・スコープなど
  * [変数のデバッグ](https://twitter.com/smdmts/status/753056102070177793)
  * [変数のスコープ](https://twitter.com/smdmts/status/753052401297350657)
* [systemd設定サンプル](https://gist.github.com/uu59/23968e3983adcf5b4cce400710b51cb2) uu59さん
* [JavaScriptは${..}の評価時に実行される](https://github.com/treasure-data/digdag/issues/351#issuecomment-253313664) ${start_time}などをJavascriptを使って利用する場合は、for_eachオペレータを使う必要がある。
* [Secretsの内容を環境変数にセットする](http://qiita.com/hiroysato/items/6d8542556d0dd0adfe8b#secretsの内容を環境変数にセットする) [@gyamxxx](https://twitter.com/gyamxxx/status/798692075877253121)さん情報
* [shオペレータでPowerShellを使う方法](http://qiita.com/yushimizu/items/ad785bc4c91539a58443)
* [digdagのlocal modeでparallelの実行数を指定したい場合configにagent.max-task-threadsを追加](https://twitter.com/grimrose/status/840051673338802177) grimroseさん
* Amazon ECS で Digdag を動かすDockerfile by myuiさん
  * [その1](https://twitter.com/myui/status/872402678344593409)
  * [その2](https://twitter.com/frsyuki/status/872404438463373312)
* Digdagのメモリリークを追いかける
  * [その1](https://twitter.com/kamekoopa/status/884585982925848576)
* loopで`Too many loop subtasks`と出る場合は、-X io.digdag.limits.maxWorkflowTasks=2000 run`と指定します。[Twitter](https://twitter.com/niwatolli3/status/909421603234103297)
* [Digdagで環境毎に設定値を変えたい時のTips](http://iroilog.net/2017/09/digdag-params-tips/)
* [DigdagのローカルモードでSecretsを複数管理](https://twitter.com/hiroysato/status/903169844597538816)
* [タスクログをS3に保存する時はbucketにCORSの設定が必要](https://twitter.com/frsyuki/status/918649734084026368)
* [DBのコネクション数について](https://twitter.com/toyama0919/status/935387278809055232)
* [digdag killの動作](https://twitter.com/nora96o/status/971356400751329281) 実行時間が長いSQLがあった場合はそれが終わってからで無いとタスクが終了しない
* [digdagのUTからtaskが実際に実行されるまでの流れ](https://gist.github.com/serihiro/0bb10d2a9ddcbfde17dbd09bdd4cb2f3)
* [CircleCIでdigdagのDocker executorとpy> operatorを動かす](https://blog.chezo.uno/how-to-test-a-new-docker-image-for-digdag-workflow-on-circleci-c8bb92987877)
* [digdag serverへのブラウザアクセス時に認証を設定する](https://www.capybara-engineer.com/entry/2020/11/20/144252)　IISを使って認証機能をつける


## 12. その他、有用なリンク

* [サンプルdigファイル](https://github.com/treasure-data/digdag/tree/master/examples)
* [REST API](https://github.com/treasure-data/digdag/blob/master/digdag-server/src/main/java/io/digdag/server/rs/ProjectResource.java#L68-L85)
* [fake_digdag.py](https://gist.github.com/smdmts/658c4e131ede8bf112d252cf1e370402)
* [Digdag schedulerのエラー](https://gist.github.com/hiroyuki-sato/6aa8b6198789bee02d06a46ef2384f2f)
* [Digdag task scan improvements](https://gist.github.com/frsyuki/896f0e3ef1a9a80d545fd846379bedca)
* [Digdag requests from users](https://gist.github.com/hiroyuki-sato/aee983162bef5a4085d1cd610550a2c6)
* 開発向け
    * [CommandExecutorインターフェース](https://twitter.com/kuenishi/status/887513684993425408)

## 13. ブログ等に掲載されたDigdag

* Developers.IO
  * [Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた](http://dev.classmethod.jp/tool/embulk-digdag-01/)
  * [Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag
](http://dev.classmethod.jp/server-side/getting-started-digdag/)
  * [Digdag + EmbulkによるTSVファイルのS3→Redshiftロード #digdag](http://dev.classmethod.jp/cloud/aws/load-tsv-from-s3-to-redshift-using-embulk-digdag/)
  * [【非公式】不定期刊 Embulk/Digdagニュース [2016/06/26版]](http://dev.classmethod.jp/tool/embulk-digdag-news-20160626/)
  * 2016/11/11 [Digdagのアーキテクチャとコンセプトを理解する](http://dev.classmethod.jp/server-side/understanding-digdag-architecture-and-concepts/)
  * 2016/11/12 [Digdagに関するインストール及び設定周りのまとめ](http://dev.classmethod.jp/server-side/digdag-installation-and-settings-matome/)
  * 2016/11/12 [Digdagのワークフロー定義について理解する](http://dev.classmethod.jp/server-side/understanding-digdag-workflow-definition/)
  * 2016/11/12 [Digdagのスケジューリングについて理解する](http://dev.classmethod.jp/server-side/understanding-digdag-scheduling/)
  * 2016/11/13 [Digdag タスク実践：タスクの正常系＆異常系判定について](http://dev.classmethod.jp/server-side/task-check-and-error/)
  * 2016/11/13 [Digdag オペレーター実践：外部スクリプトの実行](http://dev.classmethod.jp/server-side/digdag-operators-external-script-execution/)
  * 2016/11/13 [Digdag オペレーター実践：メール送信(SMTP認証情報にAWS SESを利用) ](http://dev.classmethod.jp/server-side/digdag-operators-mail-by-smtp-aws-ses/)
  * 2016/12/20 [Digdag+Embulkで発生したエラーと対策](http://dev.classmethod.jp/server-side/db/digdagembulk-load-errors-counterplan/)
  * 2017/05/31 [【レポート】AWS Summit Tokyo 2017：[JapanTaxi] Athena 指向アナリティクス 〜真面目に手を抜き価値を得よ〜](http://dev.classmethod.jp/cloud/aws/japan-taxi-athena-analytics/)
  * 2017/06/08 [【レポート】Workflow Engines Night #workflowenginesnight](http://dev.classmethod.jp/server-side/workflow_engines_night/)
  * 2017/07/07 [Digdag UIの0.9系での変遷を調べてみた](http://dev.classmethod.jp/server-side/history_of_digdag_ui_in_0_9_series/)
  * 2017/09/13 [ワークフローエンジン『Digdag』でSlack通知する ](http://dev.classmethod.jp/treasuredata/slack-notification-on-digdag/)
* 2020/03/12 [とりあえずexportしない！Digdag変数・パラメータの使い方全種](https://dev.classmethod.jp/tool/digdag_all_types_of_variables/)

* Qiita
    * 0x003fさん
        * 2018/04/26 [fishでdigdagを使う(fish shellでdigdagを使って出るエラーの解消法)](https://qiita.com/0x003f/items/2084e928ebe6518cd88c)
    * 48hands
        * 2018/08/10 [Digdagで変数を業務ワークフロー別に分けたい時のメモ](https://qiita.com/48hands/items/2602048197c3a24e6bf6)
        * 2018/10/05 [Digdagサーバの設定メモ](https://qiita.com/48hands/items/3dbf4141e098d8dde9da)
    * 567000さん
        * 2019/03/27 [DigDagをEC2にいれてHelloWorld的なワークフローを動かしてみる](https://qiita.com/567000/items/9ba9191227ee16dec184)
    * analytics-hirosさん
        * 2018/10/13 [Digdagメモ](https://qiita.com/analytics-hiro/items/a0a506ea3aec943aeb51)
    * a4_nghmさん
        * 2019/04/02 [digdagメモ](https://qiita.com/a4_nghm/items/8a53142f15a0b78a6e31)
        * 2019/06/07 [digdagからembulk(.yml.liquid)へのパラメータ渡し方](https://qiita.com/a4_nghm/items/e9770f88febd2929ec9e)
    * bwtakacyさん
        * 2016/12/12 [Digdag Serverのインストール手順](http://qiita.com/bwtakacy/items/ec3151644512ca65f6b6)
        * 2016/12/13 [DigdagのSecret機能を使う](http://qiita.com/bwtakacy/items/da1800f007718ed27bb1)
        * 2016/12/14 [Digdagのワークフロー結果をSlackに通知する](http://qiita.com/bwtakacy/items/a1d40cb5819416caf4c8)
    * chatrateさん
        * 2018/05/29 [【Bigquery】Token must be a short-lived token (60 minutes) and in a reasonable timeframeとかでたときの処方箋](https://qiita.com/chatrate/items/847bb5e06d80266b58f3)
    * dich1さん
        * 2018/12/04 [Digdagについて](https://qiita.com/dich1/items/feb9354378862d7c7e94)
        * 2019/04/01 [Digdagアーキテクチャについて](https://qiita.com/dich1/items/ad88db1a018954e80488)
    * e_tyuboさん
        * 2019/03/18 [Digdag+Embulkで異種RDB間のデータ転送をローカルで検証できるようにする](https://qiita.com/e_tyubo/items/e6630776479ba7131588) 
        * 2019/04/09 [Embulk × Digdag on Docker](https://qiita.com/dich1/items/17bf2ea4cf818bc66d1a)
        * 2019/04/22 [td_partial_deleteについて](https://qiita.com/dich1/items/788196c58b694e3c9666)
        * 2019/04/23 [s3_waitについて](https://qiita.com/dich1/items/869fae8ccac28da04b56)
        * 2019/05/13 [複数ANDにORを追加する時の評価順序に注意する](https://qiita.com/dich1/items/3e2b2083a26e5a1385ac)
    * fk8_jpさん
        * 2018/07/30 [digdagでエラーを無視して後続タスクを進める](https://qiita.com/fk8_jp/items/ef6871549d737ada7da2)
        * 2019/06/10 [Digdag + Embulkで並列数をdigファイルだけで制御する](https://qiita.com/e_tyubo/items/56bbd10a0bda0aa06577)

    * elyunim26さん
        * 2019/06/03 [2019年のワークフローエンジンまとめ](https://qiita.com/elyunim26/items/15db924e4c9833e5050a)

    * gyamxxxさん
        * 2016/11/11 [digdag のローカルモードで gcp, bq オペレータを使う](http://qiita.com/gyamxxx/items/2cd6296ebdd9be709769)
    * hirayukiさん
        * 2019/03/16 [digdagでエラーになった処理を、その時間で再実行するには](https://qiita.com/hirayuki/items/ea0ed2844a863c28ab43)
    * hiroysato
        * [digdag schedulerで定期実行するプロジェクトを作ってみた。
](http://qiita.com/hiroysato/items/227377a244e250a037d6)
        * [Digdag serverでH2やPostgreSQLのデータベースにデータを格納する](http://qiita.com/hiroysato/items/fd58d8c98922e14dff97)
        * [DigdagとEmbulkの連携で便利なdigdagの変数参照](http://qiita.com/hiroysato/items/6d8542556d0dd0adfe8b)

    * hoto17296さん
        * 2017/09/19 [UbuntuでDigdag サーバを作るまでの手順](https://qiita.com/hoto17296/items/b73b605033fb79473024)
        * 2018/08/10 [Digdag で Slack に通知を送る](https://qiita.com/hoto17296/items/51d77f6e4d3be891e084)

    * kangaさん
        * 2017/12/01 [digdagサーバをコンテナで動かしてジョブもコンテナで動かす際の設定例](https://qiita.com/kanga/items/7f2849ad5a2a625a662c)
    * katoyさん
        * 2016/10/21 [golang + Docker + BigQuery + digdag の例](http://qiita.com/katoy/items/5f03f58be36c6822e97a) (リンク先のREADMEの解説が詳しい)
    * katsuyanさん
        * 2018/12/06 [Digdagのstoreのパラメータを環境ごとにセットアップするTips](https://qiita.com/katsuyan/items/0fd58af5763a655b9b03)
    * kurosameさん
        * 2018/12/24 [AutoScalingGroup を使って Digdag を冗長構成にした](https://qiita.com/kurosame/items/5684825023ef75913a5c)
    * kurosawa_blさん
        * 2019/06/25 [Digdagのscheduleとrequireの関係](https://qiita.com/kurosawa_bl/items/4cf49b84efbeab7ad4b8)
    * lab0926さん
        * 2018/01/17 [digdagを使ってhive形式のクエリをinsertしようとするとエラーが出た話](https://qiita.com/lab0926/items/ae54405a4fa048d14b67)

    * Lewuatheさん
        * [Syntax highlighting to Digdag file in Atom](http://qiita.com/Lewuathe/items/28d4fd831ef5abd81045)
    * mickey390さん
        * 2018/01/11 [digdag scheduleのdisable状態を検知するWF](https://qiita.com/mickey390/items/bf5e582d2b53fdd33e66)

    * namihitooさん
        * 2016/08/30 [5分でDigdagインストールしてワークフロー実行まで試してみる](http://qiita.com/namihitoo/items/ba259ad5fa682ee274b6)
        * 2016/08/30 [Digdagのワークフローの中で他のワークフローを呼び出し実行する](http://qiita.com/namihitoo/items/721ff98385b781185ac6)
    * naoto_koyamaさん
        * 2018/1/10 [ワークフローエンジンdigdagで困ったこと](https://qiita.com/naoto_koyama/items/39eb09d81589f2d01752)

    * Natsukingdomさん
        * 2018/06/07 [digdag 環境を docker で 構築したときにハマった問題](https://qiita.com/Natsukingdom/items/4bdd05c50e0da5e5533d)
    * nettle0010さん
        * 2019/01/29 [Treasure Workflow（Digdag）で SQL クエリに変数を使う](https://qiita.com/nettle0010/items/96f6ea3cb485408fdb21)
    * onunuさん
        * 2018/01/25 [digdagの変数はoverrideできる](https://qiita.com/onunu/items/9ae1b5e2a9fef3aeea14)

    * oqruskさん
        * 2016/08/15 [digdagでTreasureDataへのデータを取り込むスケジュールワークフローを作成する](http://qiita.com/oqrusk/items/e47913c0de271859afe0)
        * 2016/10/20 [digdag serverをシークレットモードで動かす。](http://qiita.com/oqrusk/items/ab91543d6bde79d9f143)

    * pilotさん
        * 2016/10/25 [digdagサーバ起動スクリプト](http://qiita.com/pilot/items/8b6f14caa48ec018cbc6)
        * 2016/10/25 [digdagで_errorを複数書くと](http://qiita.com/pilot/items/6ef297521de43fa40221)
        * 2016/10/25 [digdag selfupdate後にはchmod](http://qiita.com/pilot/items/287af34c47c087a78705)
        * 2016/10/25 [digdagのtd>のdownload_file](http://qiita.com/pilot/items/643913214b2adb1f9472)
        * 2016/10/25 [digdagでtd>結果をJavaで取得](http://qiita.com/pilot/items/8b24cc698b73978a9de1)
        * 2016/10/25 [digdagの変数](http://qiita.com/pilot/items/b09f1ed33ab6ef0fa328)
        * 2016/10/25 [digdag変数の評価](http://qiita.com/pilot/items/5c131a73d3f9a5041dfd)
        * 2016/10/26 [digdagのincludeで_export](http://qiita.com/pilot/items/98d464d5a4301baec19b)
        * 2016/10/27 [TreasureData接続情報を~/.td/td.confに書くとどこに有効か](http://qiita.com/pilot/items/ff49174adbbfd0a3c9e4)
        * 2016/11/02 [Windows上にDigdagサーバ構成を作る その1 PostgresSQL](http://qiita.com/pilot/items/e763a67675e264ed0347)
        * 2016/11/02 [Windows上にDigdagサーバ構成を作る その2 Digdagサーバ](http://qiita.com/pilot/items/a49e6985f1c18aa37b5c)
        * 2016/11/02 [Windows上にDigdagサーバ構成を作る その3 Digdagクライアント](http://qiita.com/pilot/items/ecf5b7277947710189c3)
        * 2016/10/26 [DigdagサーバへのTreasureData接続情報設定](http://qiita.com/pilot/items/362226aed0b872ce12f7)
        * 2016/11/01 [Digdagサーバのworkflow executor・agent](http://qiita.com/pilot/items/69cbae56d85a443fb623)
        * 2016/11/01 [Digdagのtd>は複数タスクになる](http://qiita.com/pilot/items/171b4d6488c4adfaa692)
        * 2016/11/18 [digdagのtd.last_resultsの保存](http://qiita.com/pilot/items/c0e9b7bce888fbbc70e1)
        * 2017/01/05 [Digdagのsh>の環境変数](http://qiita.com/pilot/items/61b22f03f94e87b69693)
        * 2017/02/03 [Digdagで_exportは同階層に2回書けないけどincludeすると書ける](http://qiita.com/pilot/items/1f998256b01957d93910)
        * 2017/02/03 [Digdagのcallとincludeでの変数のスコープ](http://qiita.com/pilot/items/6d03069388e5df5f4f40)
        * 2017/02/10 [Digdagの変数定義をincludeする際にincludeされ側はインデントは不要](http://qiita.com/pilot/items/70f18e50750044550ad0)
        * 2017/02/10 [digdag logを繰り返し実行するプログラム](http://qiita.com/pilot/items/85bd1e65af6c7fe553c3)
        * 2017/02/15 [Digdagからsh>でEmbulk起動時にプラグインバージョンを固定(ローカルgemなし版)](http://qiita.com/pilot/items/2c4bc45adafa17030f37)
        * 2017/02/03 [JSを使ったDigdag変数を他の変数から参照する際、参照元の階層が2レベル目以上だとJSが実行されない](http://qiita.com/pilot/items/01f55f60360c21c6ee0f)
        * 2017/03/29 [dig内のJSで三項演算子](http://qiita.com/pilot/items/35706ae8f20f021ddf1d)
        * 2017/04/05 [Digdagからsh>でEmbulk起動時にプラグインバージョンを固定(ローカルgemあり版)](http://qiita.com/pilot/items/78b15cc98d6fd88d8896)
        * 2017/06/06 [Treasure Dataのpartial delete](http://qiita.com/pilot/items/cf64fc60cb1db2811a67)
        * 2017/07/10 [Digdagのshオペレータで複数コマンド](http://qiita.com/pilot/items/7c37c1d052ae5a461dd2)
        * 2017/07/10 [Digdagからsh>でEmbulk起動時にプラグインバージョンを固定(ローカルgemあり版 ver.2)](http://qiita.com/pilot/items/208aa30b2f0e175a3259)
        * 2017/08/17 [Digdagで日付でループ ※イマイチ](http://qiita.com/pilot/items/16f13787d7919294a630)
        * 2017/10/27 [Digdagサーバの日次処理を指定各日について実行するプログラム](https://qiita.com/pilot/items/d11f1dc97eee96994460)
        * 2017/10/27 [Digdagサーバの日次処理を指定期間繰り返し実行するプログラム](https://qiita.com/pilot/items/f16785668467808b53f1)

    * ryutaroyさん
        * 2016/10/04 [Digdag の s3_wait> オペレータ の想定利用ケースと動作確認](http://qiita.com/ryutaroy/items/b2a55b27457570609aa1)
    * sato11さん
        * 2018/11/21 [Digdag + Embulk を気持ちよく開発/運用するためにやってみたこと](https://qiita.com/sato11/items/ae099b734706f14d56b3)

    * satorukさん
        * 2016/07/14 [Digdag Serverを使う](http://qiita.com/satoruk/items/c046532af1e5cab3ce17) 
        * 2016/07/14 [Digdagのモード](http://qiita.com/satoruk/items/4e9bff44fcbfe492e666)
        * 2016/07/14 [DigdagでRubyのBundlerを使う](http://qiita.com/satoruk/items/3e4c47eb0edabbeafee5)
        * 2016/07/22 [Digdag UIを試してみる](http://qiita.com/satoruk/items/c79aef3b120726b12e82)
    * seki_kさん
        * 2017/12/03 [digdag0.9.21のretryは_retryの定義位置によって挙動が異なる](https://qiita.com/seri_k/items/e97ad0957376641eedc0)

    * shiozakiさん
        * 2017/07/19 [DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する](http://qiita.com/shiozaki/items/f79eecf8e1878aa64a40)
        * 2017/07/26 [Digdag + Dockerを使うときの環境変数に注意](http://qiita.com/shiozaki/items/cf1dc81808d541d851a4)
        * 2017/08/04 [Digdag UIのPAUSE/RESUME機能 & Digdag CLIでのenable/disable機能の注意点](http://qiita.com/shiozaki/items/d7ea6fe358da46bc13b5)
        * 2019/03/01 [Digdagのrequireオペレーターの挙動](https://qiita.com/shiozaki/items/b3aaff926b7b601b4f86)
        * 2019/03/24 [失敗したrequireオペレーターをリトライする時の罠っぽい挙動](https://qiita.com/shiozaki/items/3a0eaebb329f3944537c)
    * skryooooさん
        * 2016/12/22 [TreasureData Workflow (digdag)を使ってみた（超入門）[メモ]](http://qiita.com/skryoooo/items/7363e9cf0910f21eb9d9)
        * 2016/12/26 [digdagのtd_wait_table>とtd_wait>を使ってみた](http://qiita.com/skryoooo/items/d5c2e092355bd02228c8)
        * 2017/08/01 [digdagのsla/fail/error/waitについてのメモ](http://qiita.com/skryoooo/items/7dbde4468db52a01f7bb)
    * SOPHTOさん
        * [TDでの月次ユニークユーザーの日次集計](https://qiita.com/SOPHTO/items/d785d94fb86b8a11509e)

    * sonotsさん
        * 2019/01/21 [digdag の .dig ファイル向け vim 設定](https://qiita.com/sonots/items/9409c935117ea846fd2e)
        * 2019/01/24 [digdag タスクの docker 実行について](https://qiita.com/sonots/items/fc0b1e43bc3bc24cb079)
        * 2019/01/23 [digdag secrets を楽して環境変数にマップしたい](https://qiita.com/sonots/items/cb71834857235f965225)
        * 2019/01/26 [Digdagのserverモードで環境毎に設定値を変える６つの方法](https://qiita.com/sonots/items/4cd45edef2b35421c8a0)
        * 2019/02/05 [digdag の自前ビルド](https://qiita.com/sonots/items/cfa9a8e1e8902d94ed91)
        * 2019/02/19 [digdag push が symlinks を辿ってくれないので自分で辿る](https://qiita.com/sonots/items/9cf643279da62fce5cdf)
        * 2019/02/20 [forked digdag パッケージを作ってダウンロードできるようにする](https://qiita.com/sonots/items/72581db5c58f6d63abb9)
        * 2019/02/22 [digdag の rb オペレータで bundle exec を使う２つの方法](https://qiita.com/sonots/items/e6319f00d52adeadebf4)
        * 2019/03/18 [Digdag server with PostgreSQL on macOS](https://qiita.com/sonots/items/75939a687a4e05e785a0)
        * 2019/03/26 [digdag の自前ビルド (docker 編)](https://qiita.com/sonots/items/626b5d08b5876a9c3e35)
        
    * suzukihi724さん
        * 2016/09/29 [AWSでdigdagを試したメモ (get started)](http://qiita.com/suzukihi724/items/205dc0ae5b0831bb345c)

    * szynさん
        * 2017/01/16 [Digdagで特定のバージョンをインストールする方法](http://qiita.com/szyn/items/b7ce5d1a08fe36d4883c)

    * takat0-h0rikosh1さん
        * 2017/10/18 [digdagコマンドが fish 互換無かったときにしたこと](https://qiita.com/takat0-h0rikosh1/items/d0caacda93ff68ed2bde)
        * 2019/06/25 [Digdag の td_wait>: を Timeout させる](https://qiita.com/takat0-h0rikosh1/items/8da04e25b119443f2bc6)
    * takkeybookさん
        * 2019/06/18 [CentOS7 に digdag をインストールする](https://qiita.com/takkeybook/items/75b2e1d82ea63b613f08)
        * 2019/06/19 [digdag 拡張用 Python モジュール](https://qiita.com/takkeybook/items/60177c132ace69f2e30d)

    * t-yotsuさん
        * 2017/02/24 [Digdagを使ってBigQueryからテーブルをAvroフォーマットでExportする](http://qiita.com/t-yotsu/items/f4f8ef47295ecf7a8785)
        * 2017/06/26 [Digdagを使って定期的にBigQueryへクエリを投げる](http://qiita.com/t-yotsu/items/2c8f7179c864f3ee56a6)
        * 2017/07/12 [DigdagとApache AirflowのGCPサポート比較](http://qiita.com/t-yotsu/items/eee0c7abe3cedbee306d)
        * 2016/07/13 [Digdagスケジューラの概要と動作確認
](http://qiita.com/t-yotsu/items/6aa1c777ea9fc791d3fd)


    * tbuchi888さん
        * 2016/10/14 [LINE Notify + Digdag Treasure Data社 の OSS ワークフローエンジン をやってみた](http://qiita.com/tbuchi888/items/0f7b70606afba04ced6d)
        * 2016/12/22 [Re:dash のPostgreSQL へ CSVファイルを Digdag * Embulk 経由で登録する](http://qiita.com/tbuchi888/items/558360806e5461243aaa)

    * tkoyama1988さん
        * 2019/02/18 [digdag server で UnknownHostException が発生したとき
](https://qiita.com/tkoyama1988/items/b220eaee1d032e5100d8)

    * toru-takahashiさん
        * [Digdagでruby/python間で変数を渡す](http://qiita.com/toru-takahashi/items/418eb5a4dda4e8555a00)
        * [digdagのコンフィグについて（~/.config/digdag/config）](http://qiita.com/toru-takahashi/items/a7253dec31cb5f36c196)
    * tosametalさん
        * 2019/06/11 [digdagのhttp_callオペレータを動かしてみた](https://qiita.com/tosametal/items/6e71ef8c5fcbb7c5acdd)

    * toyama0919さん
        * 2017/03/10 [EmbulkとDigdagでJVM最適化オプションを効かせる際のメモ](http://qiita.com/toyama0919/items/26033d8dce37cb2d3a40)
        * 2017/03/16 [Digdagのセッションについて調査メモ](http://qiita.com/toyama0919/items/2b1a7729d9a9b7be4900)
        * 2017/12/18 [Digdag serverを入れた際の躓きポイント(CentOS7対応)](https://qiita.com/toyama0919/items/142d290c8dcb2c86851c)

    * tunanosukeさん
        * 2016/12/14 [digdag と Jenkins は共存共栄](http://qiita.com/tunanosuke/items/d7b85338b37dd179185b)
    * TrsNiumさん
        * 2018/12/10 [digdagでタスクを任意の並列数で実行する方法](https://qiita.com/TrsNium/items/fc51dd46fdb710da3f08)

    * tynmarketさん
        * 2018年12/09 [Digdagメモ](https://qiita.com/tynmarket/items/dc0aedf82e5f463db5ff)


    * ukisoftさん
        * 2018/01/19 [digdagのscheduler って何？](https://qiita.com/ukisoft/items/6682bd3860b7ef7a27e1)

    * vukujinさん
        * 2019/04/10 [systemdを用いたdigdag serverのデーモン化についてのメモ
](https://qiita.com/vukujin/items/68d0957d7ac3c1dec977)
    * YRHさん
        * [Treasure Dataで複数のクエリをパラメータを入れ替えながら処理させる【Workflow(digdag)】](https://qiita.com/YRH/items/1f103461c74a1b37a311)

    * ysk24okさん
        * 2017/07/21 [digdagのschedule機能について調査メモ](http://qiita.com/ysk24ok/items/9428773a6c7d5eb90765)
        * 2017/09/07 [digdagの--startと--goalを使った再実行の意図しない挙動メモ](http://qiita.com/ysk24ok/items/0b4191fc7d0d2348482e)

    * yuichi_komatsuさん
        * 2016/12/16 [DigdagでembulkとBigQueryの黄金コンビがさらに輝く](http://qiita.com/yuichi_komatsu/items/71483901e1f6df7e2136)

    * yushimizuさん
        * 2017/01/31 [digdagでWindowsPowerShellを扱う](http://qiita.com/yushimizu/items/ad785bc4c91539a58443)
        * 2017/02/02 [digdag + Embulkでファイル名を維持したままファイルを圧縮して転送](http://qiita.com/yushimizu/items/2745ec73a1d19f8a0563)

    * YusukeHosonumaさん
        * 2017/10/09 [[Heroku] Digdagを使ってスピンダウン時間を無くす（Ubuntu）](https://qiita.com/YusukeHosonuma/items/79200fbc516e6670acae)



* techium
  * [ワークフローエンジンDigDagのサーバ/クライアント構成を試してみる](http://blog.techium.jp/entry/2016/06/20/090000)
  * [ワークフローエンジンDigDagでDockerを使ってみる](http://blog.techium.jp/entry/2016/06/27/090000)
  * [ワークフローエンジンDigDagのプラグイン機能を試してみる](http://blog.techium.jp/entry/2016/07/04/090000)
  * [ワークフローエンジンDigDagのSlackプラグイン公開しました](http://blog.techium.jp/entry/2016/07/11/090000_1)

* 雑なメモ
  * [Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る](http://yukiyan.hatenablog.jp/entry/2016/06/20/064352?utm_source=dlvr.it&utm_medium=twitter)
* Geekroid
  * [「勉強会に行ってみた！」
第26回「東京ruby会議」前編](https://mynavi-agent.jp/it/geekroid/2016/06/26ruby.html)
* Rebuild
  * 2016/08/01 [Rebuild #152](https://rebuild.fm/152/)
* はったりエンジニアの備忘録
  * 2016/08/17 [Digdag server を Supervisor で管理する](https://blog.manabusakai.com/2016/08/digdag-supervisor/)
* Speaker Deck
  * 2016/8/19 [digdag-Introduction](https://speakerdeck.com/smdmts/digdag-introduction) Digdagを本番導入したので社内勉強会で発表した資料
* FiS Project
  * 2016/08/27 [【Python】Scrapy + Digdag でクローラの定期実行【Workflow】](http://www.fisproject.jp/2016/08/web-scraping-using-scrapy-and-digdag/)
* wyuasa's podcast
  * 2016/09/13 [ep3 toyama0919さんとのデータエンジニアリング周りの話](https://soundcloud.com/wyukawa/ep3-toyama0919-fluentd-embulk)
* log.fstn
  * 2016/10/11 [Jenkinsの無秩序なジョブをDigdagで再定義する](http://fstn.hateblo.jp/entry/2016/10/11/074726)
* ITPro
  * 2016/12/08 [マルチクラウドでワークフロー管理、米Treasure DataのOSS「Digdag」](http://itpro.nikkeibp.co.jp/atcl/column/15/061500148/120700098/)
  * 2017/02/02 [銀行業界にクラウドの波、狙いは優秀な技術者のリクルーティング](http://itpro.nikkeibp.co.jp/atcl/interview/14/262522/020200313/)
* マイナビニュース
  * 2016/12/08 [トレジャーデータ、今後はDMPからLDMへ、新サービスTreasure Workflowも発表](http://news.mynavi.jp/news/2016/12/08/329/)
* OSS on Azure 技術ブログ
  * 2016-12-16 [Azure VM上のDigdagでワークフロー管理を行う](http://azure.sios.jp/archives/3369)
* 雑なメモ
  * 2017/01/23 [digdagをDockerizeしてECS上で運用することにしました](http://yukiyan.hatenablog.jp/entry/2017/01/23/102411)
* べにやまぶろぐ
  * 2017/02/03 [Digdag / Treasure Workflow でプラグインを使わずに `http:>` オペレータで Slack 通知を行う](http://beniyama.hatenablog.jp/entry/2017/02/03/104939)
* 試纏
  * 2017/03/09 [Workflow Engines Meetup #1 に参加してきた #wfemeetup](http://try-and-matome.hatenablog.jp/entry/20170309_report-workflow-engines-meetup-vol-1)
* tjinjin's blog
  * 2017/04/08 [docker-composeを使ってmysqlからbigqueryにデータを送る](http://cross-black777.hatenablog.com/entry/2017/04/08/203100)
* iroilog.net
  * 2017/04/15 [Digdagのbuilt-in variableについて](http://iroilog.net/2017/04/digdag-built-in-variable/)
  * 2017/04/16 [Digdag Slack プラグインを作成 & 公開しました](http://iroilog.net/2017/04/digdag-slack/)
  * 2017/06/25 [Go言語製 Digdag Client (mog) をリリースしました](http://iroilog.net/2017/06/release-mog/)
  * 2017/09/25 [Digdagで環境毎に設定値を変えたい時のTips](http://iroilog.net/2017/09/digdag-params-tips/)
* hatappiのブログ
  * 2017/05/12 [Digdag on Dockerで何度コンテナを立て直しても状態を維持する](http://hatappi.hateblo.jp/entry/2017/05/12/091134)
  * 2017/05/26 [hako oneshotで何度でもDigdagのsession情報を保持する](http://hatappi.hateblo.jp/entry/2017/05/26/002429)
* CodeIQ Magazine
  * 2017/05/19 [13段クエリをTD Workflow(Digdag)で怠惰に走らせる(山邉哲生さん)](https://codeiq.jp/magazine/2017/05/50861/)
* Islands in the byte stream
  * 2017/05/28 [digdag run (local mode) で並列実行数を制御する](http://gfx.hatenablog.com/entry/2017/05/28/103638)
* サイオスOSS
  * 2016/12/19 [Digdagを使ってワークフロー管理を行う](https://oss.sios.com/bigdata-blog/wf-dd)
  * 2017/05/31 [AWS Summit Tokyo 2017 Day2 参加レポート](https://oss.sios.com/bigdata-blog/aws-summit-tokyo-2017-day2)
* GROWTH HACK STUDIO BLOG
  * 2017/06/05 [ワークフローフレームワーク DIGDAGの紹介と運用TIPS](http://blog.ghs.tokyo/2017/06/digdagtips.html)
* Islands in the byte stream
  * 2017/06/03 [rougeのlexer開発ワークフロー](http://gfx.hatenablog.com/entry/2017/06/03/154021)
* SECRET NINJA BLOG
  * 2017/06/09 [Digdagでpython / ruby operator から Secret parameterを参照する](https://blog.torut.tokyo/entry/2017/11/22/233844)
  * 2017/07/28 [Treasure Workflow for ビギナー ~環境構築編~](https://blog.torut.tokyo/entry/2017/08/01/233655)
  * 2017/08/01 [Treasure Workflow for ビギナー ~ digファイル書き方編~](https://blog.torut.tokyo/entry/2017/08/01/233655)

* ITANDI BLOG
  * 2017/06/21 [digdag+embulkを使ってテーブル毎にカラムを設定してBigQueryに流し込んでみた](http://tech.itandi.co.jp/2017/06/digdagembulkを使ってテーブル毎にカラムを設定してbigqueryに/)
* APPIRIO テックブログ
  * 2017/06/28 [Treasure WorkflowのSecrets機能を使ってみる](http://appirio.co.jp/blog-category/tech-blog/20170628-treasure-workflow-secrets/)
* UUUM攻殻機動隊
  * 2017/07/03 [4000以上のチャンネルを支えるデータ解析基盤をBigQuery, Go, embulk等で整備した話](http://system.blog.uuum.jp/entry/youtube-data-analytics-infrastructure)
* GMO INTERNET GROUP次世代システム研究室
  * 2017/07/11 [Digdag 入門](http://recruit.gmo.jp/engineer/jisedai/blog/introduction-to-digdag/)
* ZOZO Technologies TECH BLOG(旧 VASILY DEVELOPERS BLOG)
  * 2017/07/18 [DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する](https://techblog.zozo.com/entry/digdag_and_embulk)
  * 2018/06/25 [DigdagをHA構成にしてみた](https://techblog.zozo.com/entry/digdag_ha)
  * 2018/10/04 [GitHubで管理されたデータマート構築基盤の紹介](https://techblog.zozo.com/entry/datamart_on_github)
  * 2019/03/19 [TalendをDigdagとEmbulkに移行した](https://techblog.zozo.com/entry/2019/03/19/110000)
* やっさんメモ
  * 2017/08/25 [DigDagでAPI使って取得したリストでfor_eachを回す](http://yassan.hatenablog.jp/entry/2017/08/25/DigDagでAPI使って取得したリストでfor_eachを回す)
* DMM INSIDE
  * 2017/9/11 [DMMのビッグデータ基盤の裏側を大公開！CDHクラスタ移行・Presto導入・Digdag導入により得られた効果とは?](https://inside.dmm.com/entry/2017/09/11-dmmlabotech-bigdata)
* LIFULL Creadtors Blog
  * 2017/09/20 [機械学習における技術的負債をDigdagで返済する](http://www.lifull.blog/entry/2017/09/20/151600)
* 工作とかプログラミングとか
  * 2017/10/25 [Digdag pluginのローカルでの動作確認方法](http://mia-0032.hatenablog.jp/entry/digdag-plugin-development)
* くずきのblog
  * 2017/12/03 [LaravelのバッチをDiddagで運用したら少し幸せになった話](http://kzkohashi.hatenablog.com/entry/2017/12/03/230626)
* なんちゃってエンジニアぶろぐ
  * 2017/11/12 [embulk × digdag　動かしてみた１](http://inui-beta.hatenablog.com/entry/2017/11/20/000237)
  * 2017/12/03 [embulk × digdag　動かしてみた２](http://inui-beta.hatenablog.com)
* Gunosy テックブログ
  * 2017/12/04 [Gunosyのパーソナライズを支える技術 -ワークフロー編-](http://tech.gunosy.io/entry/gunosy-personalize-digdag-workflow)
  * 2018/12/07 [Digdag の Plugin をたくさん作ったので紹介するよ](https://tech.gunosy.io/entry/introduce-digdag-plugins)
  * 2019/03/25 [EC2上のPythonバッチをECSのDigdagに置き換えた話](https://tech.gunosy.io/archive/2019/03/25)
* Mercari Engineering Blog
  * 2017/12/09 [メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜](http://tech.mercari.com/entry/2017/12/09/103000)
* Relax and Enjoy Programming
  * 2017/12/19 [「Digdag」を使って依存関係のあるタスクをコードベースで管理する](http://tadaken3.hatenablog.jp/entry/try-digdag)
* よくわからんエンジニア
  * 2017/12/16 [CentOS7 digdagの導入](http://www.unknownengineer.net/entry/2017/12/16/100000)
* カウル Tech Blog
  * 2017/11/06 [会社の本番環境をDocker(ECS)に置き換えるために準備したこと気づいたこと](http://techblog.housmart.co.jp/2017/11/06/ecs-migration-project/)
* ADACHIN SERVER LABO
  * 2018/05/04 [[Treasure Data][Redash]Digdagとembulkを使いこなせば驚異的な分析基盤が出来上がる!!](https://blog.adachin.me/archives/8290)
  * 2018/05/10 [[Digdag][embulk]過去ログを投入するのに手動で日付を指定するのは辛いのでシェルスクリプト化してみた](https://blog.adachin.me/archives/8334)
  * 2018/08/31 [[Digdag][shell script]slack/chatworkでシンプルなエラー通知を行う](https://blog.adachin.me/archives/9109)
* みんなのウェディングエンジニアリングブログ
  * 2018/05/10 [Embulk+Digdagを利用して、個人情報を考慮したマスク処理を開発用DBに行う](https://blog.mwed.info/posts/use_embulk_for_db_mask.html)
* Septeni Engineer's Blog
  * 2018/05/18 [digdagを使っててハマった事メモ](http://labs.septeni.co.jp/entry/2018/05/18/205544)
* MicroAd Developers Blog
  * 2018/05/24 [MicroAdのデータ基盤](http://developers.microad.co.jp/entry/2018/05/24/131136)
  * 2018/10/03 [Digdagを使ったジョブ管理](https://developers.microad.co.jp/entry/2018/10/03/172257)
* takemikami's note
  * 2018/06/08 [処理結果でfor_eachするために、シェルの出力を変数に代入するDigdagプラグイン作ってみた](http://takemikami.com/2018/06/08/foreachDigdag.html)
* RECRUIT TECHNOLOGIES Member's Blog
  * 2018/09/10 [検索組織の機械学習実行基盤](https://recruit-tech.co.jp/blog/2018/09/10/qass_ml/)
* reboooot.net
  * 2018/9/23 [digdag kill が実行されてから Attempt が停止するまでの挙動](https://reboooot.net/post/check-digdag-kill-spec/)
* Kekeの日記
  * 2018/12/28 [Digdagでワークフローを宣言的に書く！](https://www.1915keke.com/entry/2018/12/28/103013)

* LIVESENSE DATA ANALYTICS BLOG
  * 2019/03/05 [DigdagとEmbulkで行うDB同期の管理](https://analytics.livesense.co.jp/entry/2019/03/05/110000)

* エムスリーテックブログ
  * 2018/11/16 [M3 USA 出張記 #5: M3 USAでデータ基盤環境整備とKPIモニタリングツールの導入を実施しました](https://www.m3tech.blog/entry/m3usa-development-data-platform)

* yuyasugano@Medium
  * 2019/12/17 [Digdag & ECS ワークフローエンジンでバッチ処理](https://medium.com/@yuyasugano/digdag-ecs-ワークフローエンジンでバッチ処理-2c74a37e185a?)