Azureでデータ活用してみる(データ連携編)

#概要
Azureでデータ活用をテーマにデータ蓄積やデータのETL処理等に取り組んでいるわけですが、
これらの対応を簡単に実行する為に、Azure Data Factoryを利用します。

####パイプライン図
![データ連携_パイプライン構成.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/7da61ef5-a9fa-6fba-5c78-c0fe7a6cfa70.png)
①データのコピー
→blob storage(rawデータの受け口)からAzure DataLake Gen2にデータコピー
②ノートブック
→Azure DataLake Gen2に蓄積したrawデータをETL処理

#Azure Data Factoryのパイプライン構築
####リンクサービスの作成
※この後、作成するソースデータセット、シンクデータセット分のリンクサービスを作成

[管理]アイコンから[リンクサービス]を選択し、[新規]をクリック
![データ連携_Linkservice.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/3805c4fd-67ff-f931-5820-03c2ce544741.png)

[新しいリンクサービス]画面で対象の[データストア]を選択
![データ連携_Linkservice2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/2228c5da-f23f-1267-5619-d6059d578a60.png)

リンクサービスの編集画面にて必要な情報を入力し、[作成]をクリック
![データ連携_linkservice4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/f6e63057-3dfc-d664-1b01-a7c0ba217686.png)


####データセットの作成
※データのコピーアイコン1つごとに、ソースデータセット、シンクデータセットを作成

[ファクトリのリソース]から[データセット]右側の[...]をクリックし、[新しいデータセット]を選択
![データ連携_dataset.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/62ccb266-2aae-ebf9-4130-ae7ec9580352.png)

[新しいデータストア]画面で対象のデータストアを選択
![データ連携_dataset1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/9bc29713-4296-fb0f-bea2-8f001dacf36e.png)

[形式の選択]画面で対象のデータ形式を選択
![データ連携_dataset2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/cbf1128e-432d-f9eb-db9b-94f40d2facc2.png)

[プロパティの設定]画面で、先ほど作成したリンクサービス含めて必要な情報を入力し、[OK]をクリック
![データ連携_dataset3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/95bccfa5-fdcf-49eb-7a0b-b86b9ac0428a.png)


####データコピー作成

[ファクトリのリソース]から[パイプライン]右側の[...]をクリックし、[新しいパイプライン]を選択
![データ連携_pipeline3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/c2890dc7-7188-f2fa-8e63-2894507f6141.png)

[アクティビティ] ツールボックスで [移動と変換]を展開します。 [アクティビティ] ツールボックスからパイプライン デザイナー画面に [データのコピー] アクティビティをドラッグ
![データ連携_pipeline2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/0621b192-c3ab-fa3c-895f-f2a362cccc34.png)

コピー アクティビティの設定で [ソース] タブに切り替えて、 [ソースデータセット] で作成したデータセットを選択
![データ連携_pipeline1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/712a00bd-7eca-0d8f-8945-fc43cbc6b6a7.png)

コピー アクティビティの設定で [シンク] タブに切り替えて、 [シンクデータセット] で作成したデータセットを選択
![データ連携_pipeline4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/26d4b916-8f65-b2ec-778a-a26b7f8dcb6e.png)

キャンバスの上にあるパイプライン ツール バーの [検証] をクリックして、パイプライン設定を検証します。 パイプラインが正常に検証されたことを確認
![データ連携_pipeline5.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/56bae027-3196-09d2-be91-cf4b724d4f99.png)

####パイプラインをトリガー
パイプラインをトリガーする前に、エンティティを Azure Data Factory に発行する必要があります。 発行するには、上部にある [すべて発行] を選択
![データ連携_Trigger.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/55ad439c-8981-cf9f-19f2-e1ab906bfa89.png)

パイプラインツールバーの [トリガーの追加] をクリックし、[今すぐトリガー]を選択
![データ連携_Trigger2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/abc3eb8b-5485-585d-aec6-50729105c341.png)

####パイプラインの監視
[モニター]アイコン選択。 [最新の情報に更新] ボタンを使用して、一覧を更新
![データ連携_Trigger3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/5ab38994-fefa-2322-abac-d943028075c6.png)
対象の[パイプライン名]を選択し、動作の状況を確認することが可能
![データ連携_Trigger4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1514023/15ce84fb-7b98-0038-9c73-c1330874d57a.png)

#まとめ
データのコピー、ETL処理の流れが完成しました。
指定時刻での実行等、他の機能も確認してみようと思います。