Yahoo!広告のレポートをBigQueryに自動同期し、Tableauで可視化する

## 概要
Yahoo!で広告掲載をする際、クリック率やインプレッション数を解析することが重要となります。しかし、新しくデータが増える度にデータをダウンロードして最新の状態にし、グラフを作り直すのは手間がかかります。
そこで今回は、[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=yss_to_bigquery_tableau)という分析基盤向けデータ統合サービスを使い、Yahoo!広告データの抽出自動化＋DWH(データウェアハウス)への統合＋可視化までやってみようと思います。

今回、データの転送手段として採用した[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=yss_to_bigquery_tableau)は、Yahoo!広告の他にも、様々な広告・CRM・DBなどのデータソースにも対応しています。
[troccoの使い方まとめ（CRM・広告・データベース他）](https://qiita.com/hiro_koba_jp/items/2b2caa040804e402bda7)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/70d21607-ec37-fb77-bf72-5bc3f035b68f.png)




## ゴール

Yahoo!広告のデータをこのようにBigQueryに統合し

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/45dd917a-f4cf-2b1a-027e-97d4daa8854d.png)


Tableauで可視化します(作成後は自動で最新値に更新できます)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/a06749fa-3b3e-62f0-245e-86e3ddd2e254.png)

## こんな人におすすめ
* Yahoo!広告のレポートをcsvファイルにエクスポートして分析基盤に取り込むまでの作業時間が長く、無駄が多いと感じている方
* Yahoo!広告を利用中で、分析基盤やDWH(データウェアハウス)へのデータ統合・ETLを考えている方
* BigQueryやTableauでYahoo!広告のデータを分析したい方


## 1. troccoでYahoo!広告→BigQueryの転送自動化
### 1-0. 事前準備
データの転送のためには[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=yss_to_bigquery_tableau)のアカウント・Yahoo!のアカウントが必要です。
無料トライアルを実施しているので、事前に申し込み・登録しておいてください！
[https://trocco.io/lp/index.html](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=yss_to_bigquery_tableau)
（申込の際に、この記事を見た旨を記載して頂ければご案内がスムーズに行えます）
### 1-1. 転送元・転送先を決定
[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=yss_to_bigquery_tableau)にアクセスして、ダッシュボードから「転送設定を作成」のボタンを押します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/081f5586-55bc-f8ad-71e3-5ec41d44e515.png)
転送元に「Yahoo!検索広告」を指定し、転送先に「BigQuery」を選択して転送設定作成ボタンを押します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/e4dafc7e-22f2-fa35-54ed-72da831924b9.png)




すると、設定画面になるので、必要な情報を入力していきます。
### 1-2. Yahoo!広告との連携設定
あとで見たときに自分で分かるように転送設定の名前とメモを入力します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/65da4159-1eb1-8fb1-6fb9-f02b80e2e391.png)



次に「転送元の設定」内の「接続情報を追加」ボタンを押します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/044038de-ee94-9981-622e-53f0e827a94a.png)

別タブで接続情報の新規作成画面が開きますので、「Yahooアカウント認証」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/642fee30-8c3b-52c8-1420-8c1aadc548b6.png)


「Yahoo! JAPANビジネスIDでログイン」の画面に進むのでログインし、画面の指示に従い接続情報を登録すると、アクセストークンを発行できます。


再び転送設定画面に戻り、接続情報の「再読込」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/417b0ba6-0b8b-e57c-239a-e2984e8ec1ff.png)


これでYahoo!広告との連携は完了です。

### 1-3. Yahoo!広告からのデータ抽出設定
次に、どのようなデータを取得するかを設定していきます。

◯アカウントID
スポンサードサーチのアカウント管理画面から取得対象のアカウントIDを登録してください。

◯レポートタイプ
レポートタイプを選択して下さい。各レポートごとに取得できる項目が異なります。
レポートタイプは`ACCOUNT`,`CAMPAIGN`,`ADGROUP`,`AD`,`KEYWORDS`の中から選択できます。

◯データ取得期間
絞り込み範囲の開始日、終了日を入力してください。

◯カラム
データを取得するにあたって必要となるカラムを追加してください。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/17740f3a-8e71-d9f9-474d-e1a54c76fad9.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/7dd6307c-f0d6-65d6-2f3f-d9d26d231c3d.png)



### 1-4. 転送先BigQueryの設定
「接続情報を追加」ボタンからBigQueryの接続設定を行います。名前と、認証方式としてサービスアカウント(JSONキー)を入力します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/bda4d6fc-40c0-18cd-7e0a-ee8ecc6d61bc.png)


JSONキーの取得方法については[こちらのドキュメント](https://docs.trocco.io/s/article/BigQuery%E3%81%AE%E6%8E%A5%E7%B6%9A%E8%A8%AD%E5%AE%9A)を参照してください。

「接続情報を追加」ボタンからBigQueryの接続設定を行い、データベース・テーブル・データセットのロケーションを指定します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/1f80ad0a-13fc-70a9-89f7-2ca68b3e12b2.png)



最後に、接続確認が問題なく通るか確認します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/8db6589f-613a-4d9b-02d2-89019844930c.png)

これで入力は完了です。「次のステップへ」をクリックして次に進みましょう。


### 1-5. データのプレビュー
少し待つと、転送元のデータがプレビューされます。ここではYahoo!広告から取り込んだデータが表示されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/cff030ee-08b4-b5ab-66ea-c420026b3f4b.png)

問題が無ければ、確認画面に移り、保存して適用しましょう。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/6a4fdc08-bc05-9434-2503-ceb7d1a50882.png)



続いて、「スケジュール・通知設定」に進みます。

### 1-6. スケジュール・通知設定
「スケジュール・トリガー設定」タブを開き、スケジュールを追加します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/cc8c18fd-0752-ccd9-d304-115926a0f222.png)


以下のように実行スケジュールを設定することで、転送を定期的に実行し自動化することが出来ます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/755133a3-7f2e-83e1-eb7e-b61e43d4a0b3.png)


また、必須の設定ではないですが、ジョブの実行ステータスに応じてEmailやSlackに通知ができます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/0f470c5c-5ce4-a663-86ff-da0f4a158ae8.png)



### 1-7. データ転送ジョブの実行
設定は以上です。最後に、手動で転送ジョブを実行し、BigQueryにデータを送ります。
手動で実行する場合はジョブ詳細画面の「実行」ボタンを押します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/8c270dbc-3982-573c-1c19-f2bef8856ceb.png)


これで転送は完了です！

## 2. BigQueryの設定
特に設定することありません。データが転送されているので、今すぐに分析・可視化を行うことが出来ます。
データがきちんと送られているかを確認してみます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/45dd917a-f4cf-2b1a-027e-97d4daa8854d.png)


転送されていることが確認できました！
## 3. Tableauで可視化
それでは、これらのデータをTableauで可視化していきます。  
まずはBigQueryとTableauの接続設定を行います。
新しいワークブックを作成し、「コネクタ」タブから「Google BigQuery」を選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/a45cfdfc-26b2-e34f-c99f-1e374760da81.png)

続いて、接続情報の中からデータの可視化を行いたいテーブルを選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/793920ff-a464-6880-7748-32ec0f42bd49.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/728cddde-337b-e38c-bc9e-dd7a19314af4.png)


続いて、下のタブの中から「新しいワークシート」を選択し、グラフを作成していきます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/9f5be26f-6a7b-23fb-5d00-8ba1d9d9471e.png)

ディメンションとメジャーを選択し、右上の表示形式から適切なグラフを選択することで、グラフを作成できます。
例えば、キーワードのクリック数を分析したいときはディメンションに「キーワード」、メジャーに「クリック数」を選択し、円グラフを選んでみます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/7e0a192a-ea66-2cd6-d30c-806e4a7c6497.png)

すると、以下のような円グラフが表示されました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/cd1b3f1b-0155-b0d0-de34-54ea7ad851db.png)

ここから、グラフの大きさや位置、タイトルなどを好みに合わせて編集します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/c1df82b6-93c6-64f6-026f-71ce4cdd5e27.png)

その他に必要な情報を作成していき、最後に１つのダッシュボードにまとめます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2216922/a06749fa-3b3e-62f0-245e-86e3ddd2e254.png)

完成しました！

## まとめ
いかがでしたでしょうか。[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=yss_to_bigquery_tableau)を使うとYahoo!広告の管理画面を触ることなく、簡単にデータを取得し、DWH(BigQuery)に貯めることが出来ます。
BigQueryにデータを貯めると、Tableauと連携することでデータを使ってグラフを作り、可視化できます。
実際に弊社サービスの[trocco](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=yss_to_bigquery_tableau)においても、マーケティングKPI等をこのような流れで収集・分析しています。
ぜひ広告データ分析の際にはご活用ください。
[https://trocco.io/lp/index.html](https://trocco.io/lp/index.html?utm_medium=social&utm_source=qiita&utm_campaign=yss_to_bigquery_tableau)

実際に試してみたい場合は、[無料トライアル](https://trocco.io/inquiry_trial/new?utm_medium=social&utm_source=qiita&utm_campaign=yss_to_bigquery_tableau)を実施しているので、この機会にぜひ一度お試しください。
（申込時に、この記事を見た旨を記載して頂ければスムーズにご案内できます）

その他にも広告やデータベースなど、様々な分析データをETL・転送した事例をまとめました。
[troccoの使い方まとめ（CRM・広告・データベース他）](https://qiita.com/hiro_koba_jp/items/2b2caa040804e402bda7)