Google Search ConsoleのデータをBigQueryに自動同期し、Tableauで可視化する

## 概要
Google Search Consoleを使うことでGoogle検索での表示回数・掲載順位を把握したり、SEO上の問題点を修正してWebサイトの注目度を高めることができます。しかし、絶えず集められるデータをその都度分析し、最新の状態に保つのにはコストがかかります。そこで、今回はGoogle Search ConsoleのデータをBigQueryに[trocco®️](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=searchconsole_to_bigquery_tableau)を使ってデータを統合し、Tableauで可視化するまでを行ってみます。
今回、データの転送手段として採用した[trocco®️](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=searchconsole_to_bigquery_tableau)は、Google Search Consoleの他にも、様々な広告・CRM・DBなどのデータソースにも対応しています。
[trocco®️の使い方まとめ（CRM・広告・データベース他）](https://qiita.com/hiro_koba_jp/items/2b2caa040804e402bda7)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/3d80c3b5-83e2-e020-e41b-85410d841510.png)
## ゴール
Google Search ConsoleのデータをこのようにBigQueryに統合し
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/195b5c9f-76a2-4ae0-4715-720da7dc7997.png)
Tableauで可視化します(作成後は自動で最新値に更新することも可能です）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/63b8bf95-0e8a-89ce-8206-889b762db743.png)
## こんな人におすすめ
・Google Search Consoleのデータを分析基盤やDWH(データウェアハウス)へ取り込みたい方
・Google検索での表示回数・掲載順位について自動的に分析できるようにしたい
・BigQueryやTableauでGoogle Search Consoleのデータを分析したい方
## 1. trocco®️でGoogle Search Console  →BigQueryの転送自動化
### 1-0. 事前準備
データの転送のためには[trocco®️](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=searchconsole_to_bigquery_tableau)のアカウント・Googleアカウントが必要です。
無料トライアルを実施しているので、事前に申し込み・登録しておいてください！
[https://trocco.io/lp/index.html](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=searchconsole_to_bigquery_tableau)
（申込の際に、この記事を見た旨を記載して頂ければご案内がスムーズに行えます）
### 1-1. 転送元・転送先を決定
[trocco®️](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=searchconsole_to_bigquery_tableau)にアクセスして、ダッシュボードから「転送設定を作成」のボタンを押します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/081f5586-55bc-f8ad-71e3-5ec41d44e515.png)
転送元に「Google Search Console」を指定し、転送先に「Google BigQuery」を選択して転送設定作成ボタンを押します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/e3a00e86-5986-d0d3-14ad-73b0dcaf3318.png)
すると、設定画面になるので、必要な情報を入力していきます。
### 1-2. Google Search Consoleとの連携設定
あとで見たときに自分で分かるように転送設定の名前とメモを入力します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/1711a966-539b-68d3-e343-2082814b4617.png)
次に「転送元の設定」内の「接続情報を追加」ボタンを押します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/b3335019-3473-f235-ba82-e00db2c0bbd4.png)
別のタブでGoogle Search Consoleの接続情報の新規作成画面が開きます。
所定の欄を埋めることでGoogle Search Consoleの認証情報を登録します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/0678e2d8-e3ff-9f19-77de-c2efcc18ca4d.png)
再度転送設定画面に戻り、接続情報の「再読込」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/56fa64cf-10c7-4097-11c2-6ba115dc9744.png)
これでGoogle Search Consoleとの連携は完了です。
### 1-3. Google Search Consoleからのデータ抽出設定
次に、Google Search Consoleから抽出したいデータを指定します。
- サイトURL
    - 転送したいデータサイトのURLを指定します。
- サーチタイプ
    - [web, image, video] の中から選択します。
    - 今回はWebページ (https://trocco.io/) の分析を行うため、[web]を選びます。
- データ取得期間
    - データの取得期間を指定します。
    - Google Search Console の仕様上、取得できるデータは3日以上前のデータに限られます。
- ディメンション
    - データの取得結果をグループ化するための項目です。
    - [date, country, device, page, query, searchAppearance]を指定することができます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/28d1ec58-5302-9b77-36c0-ff89597018cb.png)
### 1-4. 転送先BigQueryの設定
「接続情報を追加」ボタンからBigQueryの接続設定を行います。名前と、認証方式としてサービスアカウント(JSONキー)を入力します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/951baa17-cfdd-be35-7f5a-efe3045bbffe.png)
JSONキーの取得方法については[こちらのドキュメント](https://documents.trocco.io/docs/connection-configuration-bigquery)を参照してください。
「接続情報を追加」ボタンからBigQueryの接続設定を行い、データセット・テーブル・データセットのロケーションを指定します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/80207774-a6cf-80a7-4cda-b345c9e92745.png)
最後に、接続確認が問題なく通るか確認します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/4e0e13d0-af59-2a15-b74a-93e260cd4532.png)
これで入力は完了です。「次のSTEPへ」をクリックして次に進みましょう。
### 1-5. データのプレビュー
少し待つと、転送元のデータがプレビューされます。ここではGoogle Search Consoleから取り込んだデータが表示されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/3ab68989-665a-fe6b-319c-6bf50dc5d82b.png)
問題が無ければ、確認画面に移り、保存して適用しましょう。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/73765bf6-8ff5-a7c2-7cb1-aaeae8da6e86.png)
続いて、「スケジュール・通知設定」に進みます。
### 1-6. スケジュール・通知設定
「スケジュール・トリガー設定」タブを開き、スケジュールを追加します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/cc8c18fd-0752-ccd9-d304-115926a0f222.png)
以下のように実行スケジュールを設定することで、転送を定期的に実行し自動化することが出来ます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/755133a3-7f2e-83e1-eb7e-b61e43d4a0b3.png)
また、必須の設定ではないですが、ジョブの実行ステータスに応じてEmailやSlackに通知を行うことが出来ます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/0f470c5c-5ce4-a663-86ff-da0f4a158ae8.png)
### 1-7. データ転送ジョブの実行
設定は以上です。最後に、手動で転送ジョブを実行し、BigQueryにデータを送ります。
手動で実行する場合はジョブ詳細画面の「実行」ボタンを押します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/fd7ddb17-b854-6c37-2f21-17e8ef570c82.png)
これで転送は完了です！
## 2. BigQueryの設定
特に設定することありません。データが転送されているので、今すぐに分析・可視化を行うことが出来ます。
データがきちんと送られているかを確認してみます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/195b5c9f-76a2-4ae0-4715-720da7dc7997.png)
転送されていることが確認できました！
## 3. Tableauで可視化
それでは、これらのデータをTableauで可視化していきます。  
まずはBigQueryとTableauの接続設定を行います。
新しいワークブックを作成し、「コネクタ」タブから「Google BigQuery」を選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/a45cfdfc-26b2-e34f-c99f-1e374760da81.png)
続いて、接続情報の中からデータの可視化を行いたいテーブルを選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/793920ff-a464-6880-7748-32ec0f42bd49.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/d428cf1c-ef32-5b27-2299-5c767c2a1f44.png)
続いて、下のタブの中から「新しいワークシート」を選択し、グラフを作成していきます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/9f5be26f-6a7b-23fb-5d00-8ba1d9d9471e.png)
ディメンションとメジャーを選択し、右上の表示形式から適切なグラフを選択することで、グラフを作成することができます。
例えば、ディメンションに「Page」、メジャーに「Impressions」を選択し、水平棒グラフを選んでみます。
すると、以下のような棒グラフが表示されました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/bb838573-dba5-7a04-f05c-004fd841bde7.png)
ここから、グラフの大きさや位置、タイトルなどを好みに合わせて編集します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/1e03d471-1f60-b5e0-4a47-329f19501ab1.png)
その他に必要な情報を作成していき、最後に1つのダッシュボードにまとめます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/3a5516ae-48f5-4d98-d372-52110683e5e0.png)
完成しました！
## まとめ
いかがでしたでしょうか。[trocco®️](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=searchconsole_to_bigquery_tableau)を使うと簡単にGoogle Search Consoleのデータを取得し、DWH(BigQuery)に貯めることが出来ます。
今回はGoogle Search Consoleのデータのみで可視化しましたが、BigQueryにデータを貯めることで、BigQuery内にある他のデータとも紐付けることができ、より高度なデータ分析が可能になります。
実際に弊社サービスの[trocco®️](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=searchconsole_to_bigquery_tableau)においても、マーケティングKPI等をこのような流れで収集・分析しています。
ぜひデータ分析の際にはご活用ください。
[https://trocco.io/lp/index.html](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=searchconsole_to_bigquery_tableau)
実際に試してみたい場合は、[無料トライアル](https://trocco.io/inquiry_trial/new?utm_medium=social&utm_source=qiita&utm_campaign=searchconsole_to_bigquery_tableau)を実施しているので、この機会にぜひ一度お試しください。（申込時に、この記事を見た旨を記載して頂ければスムーズにご案内することができます）
その他にも広告やデータベースなど、様々な分析データをETL・転送した事例をまとめました。
[trocco®️の使い方まとめ（CRM・広告・データベース他）](https://qiita.com/hiro_koba_jp/items/2b2caa040804e402bda7)