ValuecommerceのデータをBigQueryに自動同期する




## 概要
バリューコマースのレポート画面からは報酬額、クリック率、成約率等の推移を把握できます。しかし、絶えず集められるデータをその都度分析し、最新の状態に保つのにはコストがかかります。そこで今回は、[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=valuecommerce_to_bigquery)という分析基盤向けデータ統合サービスを使い、バリューコマースデータの抽出自動化＋DWH（データウェアハウス）への統合＋可視化までやってみようと思います。
今回、データの転送手段として採用した[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=valuecommerce_to_bigquery)は、
バリューコマースの他にも、様々な広告・CRM・DBなどのデータソースにも対応しています。
[troccoの使い方まとめ（CRM・広告・データベース他）](https://qiita.com/hiro_koba_jp/items/2b2caa040804e402bda7)
![valuebig.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/8b803e26-75c5-9ce7-1970-922fadd33971.png)
## ゴール
バリューコマースのデータを以下のようにBigQueryに統合します。
![valuebigquery_可視化.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/0ff55b5e-2232-9ece-a631-439e764e205b.png)

## こんな人におすすめ
- バリューコマースのデータをBigQueryに自動的に蓄積させたい
- Google検索での表示回数・掲載順位について自動的に分析できるようにしたい
- バリューコマースをデータ元として利用したい

## 1. troccoでバリューコマース→Google BigQueryの転送自動化

### 1-0. 事前準備
データの転送のためには[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=valuecommerce_to_bigquery)のアカウント・Googleアカウントが必要です。
無料トライアルを実施しているので、事前に申し込み・登録しておいてください！
[https://trocco.io/lp/index.html](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=valuecommerce_to_bigquery)
（申込時に、この記事を見た旨を記載して頂ければスムーズにご案内できます）

### 1-1. 転送元・転送先を決定
[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=valuecommerce_to_bigquery)にアクセスして、ダッシュボードから「転送設定を作成」のボタンを押します。
![ダッシュボード作成.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/a8e9af26-d73b-6005-f892-14b8dbdfd5f5.png)
転送元に「Valuecommerce」を指定し、転送先に「Google BigQuery」を選択して転送設定作成ボタンを押します。
![valuebigquery_新規作成.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/8df82d8d-b8ec-8ff4-5fda-38a776a2b995.png)
すると、設定画面になるので、必要な情報を入力していきます。

### 1-2. バリューコマースとの連携設定
あとで見たときに自分で分かるように転送設定の名前とメモを入力します。
![valuebigquery_概要設定①.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/0dd23c7f-d641-65ba-cead-9363ce8a2f73.png)
次に「転送元Valuecommerceの設定」内の「接続情報を追加」ボタンを押します。
![valuebigquery_接続追加.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/de59a005-c942-46c4-b7ea-0e188394346d.png)
別のタブでバリューコマース接続情報の新規作成画面が開きます。
接続情報の作成にはクライアントキーとクライアントシークレットキーが必要になります。
![value_接続設定保存.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/d272c937-2b62-724b-9cb8-1a122c8afbee.png)
問題がなければ保存します。転送設定画面に戻り、接続情報の「接続情報を読み込む」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。
![valuebigqeury_qiita選択.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/8848d069-f54a-4178-cd00-2073fc65a5dc.png)

### 1-3. バリューコマースからのデータ抽出設定
次に、どのようなデータを取得するかを設定していきます。
今回は分析したいサイトについての日付、検索クエリ、リンクに関する情報を取得していきます。
必要なデータを入力していきます。

- 検索基準となる日付
以下の選択肢から指定します。 
a：処理（承認／拒否）日
c：クリック日
o：注文日
i：注文データ挿入日

- データ取得期間
検索範囲は最大6ヵ月、参照可能期間は当月を含む過去25ヵ月までとなります。
日付フォーマットは（YYYY-MM-DD）です。

※ その他の項目は必要に応じて入力します。
![valuebigquery_概要設定②.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/56d8845b-961a-3349-a9bc-d433671b35f3.png)

### 1-4. 転送先Google BigQueryの設定
転送元と同様に設定していきます。Google BigQueryに関してはGoogleアカウントとの連携が必要です。(事前に転送先となるデータセットとテーブルを作成しておいてください)
![Googleアカウント連携.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/0bb3d4f1-188c-f9b4-1e2d-023684ce65d3.png)
![BigQuery接続情報作成.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/683df5ea-e4df-008b-b4c7-6b2d1c6364c1.png)
転送先とするデータセット名、テーブルを設定します。
![valuebigquery_bigquery設定.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/4e9571ef-2c1d-b1af-cb92-56d19dc97dcc.png)
これで入力は完了です。接続状況を確認し問題がなければ、「次のステップへ」をクリックし確認作業に進みましょう。

### 1-5. データのプレビュー
少し待つと、転送元のデータがプレビューされます。ここではバリューコマースから取り込んだデータが表示されています。
![valuebigquery_スキーマプレビュー.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/9cf88e19-0a95-38cc-d769-78c91d4a7a50.png)
転送したいデータが取れているので、設定を完了します。
転送設定の一覧から作成した設定を選び「スケジュール・通知設定」に進みます。

### 1-6. スケジュール・通知設定
「スケジュール・トリガー設定」タブを開きます。
![valuebigquery_スケジュール.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/005966f2-90e3-5f06-13d2-bc8aac35102b.png)
「スケジュールを追加」ボタンを押すと、以下のようなモーダルが出てきます。ここで実行スケジュールを設定することで、転送を定期的に実行し自動化することが出来ます。
![valuebigquery_登録.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/d78743c1-f943-c364-e99d-419bf166d356.png)
### 2-7. データ転送ジョブの実行
設定は以上です。最後に、手動で転送ジョブを実行し、Google BigQueryにデータを送ります。
手動で実行する場合はジョブ詳細画面の「実行」ボタンを押します。
![valuebigqeury_実行.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/80bb7f64-0505-194d-c4e3-c1e9550aa346.png)
これで転送は完了です。

## 2. Google BigQueryの設定
特に設定することはありません。設定で選択したテーブルにデータが転送されているので、今すぐに分析・可視化を行うことが出来ます。
データがきちんと送られているかをプレビューで確認してみます。
![valuebigquery_可視化.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1121252/44fb8b74-3bbe-4f09-b5a6-c1be8959589c.png)

転送されていることが確認できました。



## まとめ
いかがでしたでしょうか。[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=valuecommerce_to_bigquery)を使うと、バリューコマースのデータでも自動でGoogle BigQueryにまとめていくことができるほか、100万規模の大きなデータからそうではない小さなデータまで複雑なコーディングをせず[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=valuecommerce_to_bigquery)の画面上の設定のみでデータの転送が可能になります。
実際に弊社サービスの[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=valuecommerce_to_bigquery)においても、マーケティングKPI等をこのような流れで収集・分析しています。
ぜひ広告データ分析の際にはご活用ください。
[https://trocco.io/lp/index.html](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=valuecommerce_to_bigquery)
実際に試してみたい場合は、[無料トライアル](https://trocco.io/inquiry_trial/new?utm_medium=social&utm_source=qiita&utm_campaign=valuecommerce_to_bigquery)を実施しているので、この機会にぜひ一度お試しください。(申込時に、この記事を見た旨を記載して頂ければスムーズにご案内できます)
その他にも広告やデータベースなど、様々な分析データをETL・転送した事例をまとめました。
[troccoの使い方まとめ（CRM・広告・データベース他）](https://qiita.com/hiro_koba_jp/items/2b2caa040804e402bda7)