Microsoft Fabric  OneLake 上のデータをオンプレミスシステムに配信する

## はじめに

データパイプラインがオンプレミスデータゲートウェイに対応したのですが、OneLakeに持ってくるシナリオはデータフローGen2 が対応済みなので、逆にオンプレミス側にデータを配信するシナリオをやってみます

https://support.fabric.microsoft.com/ja-JP/blog/integrating-on-premises-data-into-microsoft-fabric-using-data-pipelines-in-data-factory/

## 準備


### オンプレミスデータゲートウェイの準備

参考：https://learn.microsoft.com/ja-jp/fabric/data-factory/how-to-access-on-premises-data#create-an-on-premises-data-gateway

また、ゲートウェイバージョンが 3000.214.8 以降である必要があります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/0ea7e63e-f2bb-4349-c05d-7804dbc2f6a2.png)


※ゲートウェイの管理画面のアクセス方法は以下

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/8ec0da2b-2b90-3bcd-e070-f91c83862f58.png)

### 配布するデータの準備

[サンプルウェアハウス](https://learn.microsoft.com/ja-jp/fabric/data-warehouse/create-warehouse-sample)を作成しておきます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/e110098f-afa3-6611-a840-1b877abdcfe7.png)

## 方法

### データソースの設定まで

1.パイプラインを作成します。名称は任意で

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/ed476855-50e8-bf0b-96d0-57f0661f8d93.png)

2.データのコピーを選択
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/f65a6049-cb26-2363-bebe-6ba8fbcf4626.png)

3.サンプルのウェアハウスをソースにしたいのでウェアハウスを選択
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/26969841-2d7e-f2e1-1a18-3b7630c0087e.png)

4.テーブルを選ぶか、抽出用のクエリを書く
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/b5f33158-4245-8508-93a0-49ae43a9dde6.png)

### csv での書き込みの場合

5.ファイルシステムを選択
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/5c12b6f2-531c-de7c-f814-90c983499ee9.png)

6.接続を作成（この接続は再利用できるので、ルートに近いパスを使うか、共有したい範囲に応じてパスごとに作成するなど工夫するのがおすすめ）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/128b2aa6-903a-5cef-4f6a-4dbfa369e556.png)


7.フォルダを選択します（ない場合は空でもよい
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/861f9be1-b0a5-b5be-5068-b9bd28b7bb03.png)

8.ファイル形式を設定
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/e2495b62-fbe1-e905-ed16-805760aa41c2.png)

9.このままで実行できますが、一旦実行せずにセーブ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/5d250094-c2d1-8291-2783-44c19abeb6c1.png)

10.ファイルの分割や、フォルダの指定（存在しない場合作成される）、名称の設定などができるのでやっておきます。ファイルを使いたいサービスに優しい分割を行いましょう（一つの巨大なファイルは開くのも大変）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/056d8e57-cd1e-1faa-064a-2a9d6a2ffd5c.png)

11.実行します

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/bfe334c4-d00a-3fa1-5c6d-5e93f9ffbc50.png)

12.成功したら結果がみれます
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/b65c537d-bafe-45ba-d0b5-472fb57350ed.png)

13.ファイル出力されてます
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/a1272546-2862-333e-782d-c5f19c8229f4.png)



### SQL Server への書き込みの場合

5.SQL Server を選択
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/81372e2c-4fea-64a6-5217-6e9d52c54a0b.png)

6.接続を作成したらデータベースを選択(接続の作成方法は割愛）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/8cfa7b64-11c5-3fa6-c5dd-14a0b1c5485c.png)

7.新しいテーブルに読み込むこと似ります
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/d725c6eb-f235-5ef8-60c2-77b087931ea1.png)

8.SQL Server 連携の場合はそこまで設定することもないので実行
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/baf157bb-f3e6-425d-bc7d-7428a7c0d839.png)

9.一応コピーの設定見てみます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/5ef73428-5636-10e8-e791-cdd804cd9331.png)

10.成功しました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/281819/8f19e4ea-e9c2-6768-39e2-672396db6ff5.png)