AzureのSQL ServerからGoogle BigQueryへの、クラウドの壁を超えたデータ転送をtroccoでやってみる

## 概要
* サービスはAzure上のSQL Serverを使ってるが、分析はBigQuery使いたい、そんな要望を簡単に実現する方法です
    * 出来るだけ手軽に・簡単に・3分くらいで実現したい
    * 分析基盤向けデータ統合サービス「[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=sqlserver_to_bigquery)」を使って実現してみる

<img width="1792" alt="qiita_20191206_1.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/731a758e-1c24-de86-f33b-3721cdd28d3f.png">


※今回は動作検証を行っていませんが、Azure上ではなくAWSなどにあるSQL Serverでも動きます
※MySQL→BigQueryのデータ統合は[こちら](https://qiita.com/hiro_koba_jp/items/8839bfb4fd3726f61f5a)に、PostgreSQL→BigQueryのデータ統合は[こちら](https://qiita.com/hiro_koba_jp/items/896c755f9d7d1ce69081)にあります。

## troccoとは
[https://trocco.io/lp/index.html](https://trocco.io/lp/index.html)

* 分析基盤向けのデータ統合サービス
* 分析に必要な様々なデータ(DB/ストレージ/SaaS/API)を、DWHに統合可能
* DWH自体の管理機能や、運用保守サポート機能も豊富

その他にも広告やデータベースなど、様々な分析データをETL・転送した事例をまとめました。
[troccoの使い方まとめ（CRM・広告・データベース他）]
(https://qiita.com/hiro_koba_jp/items/2b2caa040804e402bda7)

## 用意するもの
* SQL Server接続情報（転送元テーブルへの読み取り権限が必要）
    * 接続先ホスト（例 `hogehoge.database.windows.net`）
    * 接続先ポート（例 `1433`）
    * 接続ユーザー（例 `readonly_user`）
    * 接続パスワード（例 `hogehoge`）
* BigQuery接続情報（転送先データセット・テーブルへの書き込み権限が必要）
    * JSON Key（例 `{''private_key_id'': ''123456789'', ''private_key'': ''-----BEGIN PRIVATE KEY-----...'', ''client_email'': ''...''}`）
* SQL Serverのセキュリティ設定
    * [trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=sqlserver_to_bigquery)は`18.182.232.211` `13.231.52.164` `3.113.216.138`の3つのIPアドレスでSQL Serverに接続します
    * ポリシー等でIP制限等を行っている場合は、こちらのIPを許可しておいてください。
* [trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=sqlserver_to_bigquery)の登録
    * [無料トライアル](https://trocco.io/inquiry_trial/new?utm_medium=social&utm_source=qiita&utm_campaign=sqlserver_to_bigquery)もやっているみたいなので、事前に申し込み・登録しておいてください！
    * 申込時に、この記事を見た旨を記載して頂ければご案内がスムーズです

## 1. 転送設定を作成する

### 1-1. 転送元・転送先を決定
[トップページ](https://trocco.io/)より、転送元にSQL Serverを、転送先にBigQueryを選択し、転送設定作成ボタンを押す

すると、以下のような画面になるかと思いますが、これが設定画面です。
わからないことは右下のチャットで、直接聞いたりSlackのサポートから問い合わせることが出来ます。
<img width="1792" alt="qiita_20191206_2.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/f2a91c94-057e-68a4-fceb-c510fbbe24c6.png">


### 1-2. 接続設定を作成
転送設定の名前とメモを適当に入力したら、「転送元の設定」内の「接続情報を追加」ボタンを押します。
<img width="1107" alt="qiita_20191206_3.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/69f8d9d6-8133-dbfd-8244-93862e4d5dab.png">

別タブで接続情報の新規作成画面が開きますので、予め準備した接続情報を入力して下さい。
<img width="827" alt="qiita_20191206_4.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/3841c294-4c64-93fe-60b6-5e2b5ce9279e.png">

再度転送設定画面に戻り、SQL Server接続情報の「再読込」ボタンを押すと、作成した接続情報が選択できるかと思います。
<img width="1102" alt="qiita_20191206_5.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/ed4a26f8-b20a-f1c6-dbab-adb4a21817cd.png">

このステップが若干面倒ではありますが、一度保存した設定は再利用したり、チーム内で共有することが出来ます。

### 1-3. 転送元の設定
下記のように入力します。接続確認を押せば、入力した情報が正しいかを確認出来ます。
差分転送機能もサポートしているので、日次で増分データのみ転送したいみたいな用途にも使えます。
<img width="823" alt="qiita_20191206_6.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/8a11c71d-c588-5354-4c5e-75cf7dd2d566.png">

### 1-4. 転送先の設定
転送元と同じ要領で設定していきます。
データセットとテーブルは既存のものを使っても良いですし、新しい名前で入力した上で自動生成オプションを有効にすれば、自動で作成されます。
転送モードは`append(追記)`や`replace(テーブル作り替え)`などが選択可能で、いずれもトランザクション内で処理されるため、途中で処理が失敗したらロールバックされます。
少量のデータを定期的に転送する場合は`replace`を、大量データで増分のみを転送する場合は`append`を選択すると良いかと思います。
<img width="897" alt="qiita_07.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/50baad1f-955e-5331-1792-da7c43cc994e.png">

また、入力した情報に誤りがないか、疎通確認や権限確認をすることが出来ます。
（転送元も同様に確認が出来ます）
<img width="1047" alt="qiita_08.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/77fa5c51-b81a-ef60-8f97-b5e01cc5f9d6.png">
この段階で疎通や権限が正しいことを確認できると、安心感がありますね。

## 2. プレビューを確認
転送元のデータがプレビューされます。列名や、自動推論されたデータ型が正しく判定されているか確認して下さい。
（だいぶ簡素なログですみませんm(_ _)m）
<img width="1792" alt="qiita_20191206_7.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/27b536f9-8d29-7120-0a97-d2edf4f241ba.png">

データのスキーマは自動で推論されますので、間違っていたら「データ設定」タブから修正することも出来ます。
また、BigQueryの分割テーブルなど、詳細な設定も「入力設定」や「出力設定」から行うことが出来ます。
<img width="1419" alt="qiita_10.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/95de8891-ba76-dbea-6f1c-fcea86893262.png">


## 3. 定期実行・Slack通知を設定
最後は定期実行のスケジューリングや、通知設定の入力画面です。
<img width="1792" alt="qiita_20191206_8.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/822a61bf-06e1-ba67-e86a-db3b18deba77.png">

日次バッチだったら、以下のようなUIで、数クリックで設定可能です。
（最短1分間隔で転送可能）
<img width="499" alt="qiita_12.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/06167554-05ef-9f7b-182f-6a0cb6d1669f.png">

地味に嬉しいのが、この通知設定。
当然ジョブが失敗したらSlack通知とかはできるんですが、よくある「データが0件でジョブが正常完了してしまった」みたいなのまで検知できるんです。
<img width="1792" alt="qiita_20191206_9.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/91a43b50-de0c-5f9e-a628-0989d1d54f7c.png">

## 4. ジョブ実行
定期実行の他に、アドホックな実行も可能です。
下図の実行ボタンを押せば実行が始まります。
<img width="1792" alt="qiita_20191206_10.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/1489d7f8-54c4-ef51-2c78-98f24a4ca7f4.png">

実行画面こんな感じです。ちなみにジョブ実行のたびに専用コンテナが立ち上がり、かつCPUやメモリの割当を動的に変更できるので、パフォーマンス要件が厳しい場合も大丈夫らしいです。
<img width="1792" alt="qiita_20191206_11.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61228/05cb9fd4-82b7-3dcf-e1e7-ea3aa65c767a.png">

## まとめ
* [trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=sqlserver_to_bigquery)を使うことで、Azure→GCPというクラウドの壁を超えた転送を、約3分ほど実現出来ました
* 昨今機会が急激に増えつつあるDWHへのデータ統合を、より手軽に実現できました
* 複雑な作業はほぼないので、エンジニアだけでなく、マーケター・ディレクターの方まで幅広く利用出来るかと思います

試してみたい場合は、[無料トライアル](https://trocco.io/inquiry_trial/new?utm_medium=social&utm_source=qiita&utm_campaign=sqlserver_to_bigquery)を実施しているので、この機会にぜひ一度お試しください。
（申込時に、この記事を見た旨を記載して頂ければスムーズにご案内できます）

その他にも広告やデータベースなど、様々な分析データをETL・転送した事例をまとめました。
[troccoの使い方まとめ（CRM・広告・データベース他）]
(https://qiita.com/hiro_koba_jp/items/2b2caa040804e402bda7)

※1 今回は[embulk-input-sqlserver](https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-sqlserver)と[embulk-output-bigquery](https://github.com/embulk/embulk-output-bigquery)のホスティング環境を利用