注目を浴びている! 2018年ワールドカップに対するコメントを分析


<img width="516" alt="大力獎杯.jpg" src="https://qiita-image-store.s3.amazonaws.com/0/262932/353de9f7-6d97-4df0-e9a5-486ca2332edd.jpeg">

2018 FIFAワールドカップは、6月14日から7月15 日にかけて、ロシアで開催されています。2014年大会の準決勝進出4チーム（ドイツ、アルゼンチン、オランダ、ブラジル）はすべて敗退となったことに信じられませんでした。サッカーファンの皆さんが今年の大会についてどんな評価するのか、非常に興味があります。そこで、YouTubeで「World Cup 2018」の検索結果から612件のビデオ情報をクローリングして、6,000件を超えるコメントを取得しました。
![youtuberesults.png](https://qiita-image-store.s3.amazonaws.com/0/262932/546686f8-30f9-eab2-3dc9-58a9b53a4ae2.png)



ここでは、データ抽出のプロセスと、抽出されたデータに基づいて見つかったことを紹介したいと思います。

 

#どんな情報を収集したのか？

[Octoparse](http://jp.octoparse.com)という[スクレイピングツール](http://jp.octoparse.com/blog/3-web-crawling-tools-for-extracting-web-data/)を使って、このプロジェクトに2つの[webクローラー](http://jp.octoparse.com/blog/what-is-web-crawler/)を作りました。 Youtubeをスクレイピングすることの難しさは、結果ページとビデオページにある無限のスクロールです。なので、できるだけ多くのビデオ情報を取得するために、Octoparseで[自動スクロールを設定する](http://jp.octoparse.com/tutorial/infinite-scrolling-and-load-more/)必要があります。
![scroll-down.png](https://qiita-image-store.s3.amazonaws.com/0/262932/33153b0c-5266-9ce1-af72-ed8a3778fe1f.png)

そこで、ビデオのタイトル、時間、投稿者、投稿日時、視聴回数、高評価と低評価を抽出したいと思います。
![videoinfo.png](https://qiita-image-store.s3.amazonaws.com/0/262932/d957ccdf-8496-e4f3-7f54-68ecdae21273.png)
 

Octoparseのポイント＆クリック機能により、取得したいビデオ情報を簡単に抽出できます。
![videodatafield.png](https://qiita-image-store.s3.amazonaws.com/0/262932/13f2e18e-a265-fae1-9743-bd9bf19e250c.png)

 

各動画のコメントを取得するために、別のwebクローラーを作りました。 ここでのトリックは、クローラーのワークフロー内に[ループアイテム](https://www.octoparse.jp/tutorial/capture-a-list-of-items/)を追加して、各コメントを1つずつ抽出することです。
それぞれのコメントから、コメントの内容と "高評価"の数をスクレイピングしました。
![commentinfo.png](https://qiita-image-store.s3.amazonaws.com/0/262932/82319975-1fb5-927e-12c2-0b2665a19d1d.png)


 

その結果、YouTubeの動画情報やコメントを構造化されたデータシートに変換することができます。
![データ.png](https://qiita-image-store.s3.amazonaws.com/0/262932/fa1e55ac-f4fc-a51b-af2a-4b02c6b6f01e.png)



 

#抽出された情報から何を見つけましたか？

先週の金曜日にクローラーを使ってデータをスクレイピングして、その時点で56回の試合しかありません。

以下は皆さんとシェアしたい結果です。

 

##2018年ワールドカップに最も人気のある動画トップ10

公式曲のビデオがとても人気があるのはかなり驚きました。その10つのビデオのうち、4つは2018年ワールドカップ公式曲のビデオです。
![most-popular-videos.png](https://qiita-image-store.s3.amazonaws.com/0/262932/1b361068-9729-d079-4e91-2dc4be9563d5.png)

 

 

##2018年ワールドカップに最も人気のある試合トップ10

人気は、試合の段階ではなく、対戦チームに関係があります。

人気試合にはグループリーグが7つあり、ベスト16試合が3つあります。

最も人気のあるチームはアルゼンチン（3試合）で、次はポルトガル、ドイツ、ブラジル（それぞれ2試合）です。
![most-popular-matches.png](https://qiita-image-store.s3.amazonaws.com/0/262932/58ab222b-f392-9620-800b-c52098b4bbeb.png)

 

##人々が最も人気のある試合トップ10に対する好み

今度は、「高評価」と「低評価」の数量から、最も人気のある試合トップ10についての人々の好みをさらに研究したいと考えています。
![like-and-dislike-of-popular-matches.jpg](https://qiita-image-store.s3.amazonaws.com/0/262932/78f42369-0f13-5b40-e239-172345e5a131.jpeg)

 

##2018年ワールドカップに最も低評価な試合トップ10

これは、「低評価」/視聴回数の比率によって計算されます。そのうち6件が「最も人気のある試合トップ10」にも載っているのはとても面白いです。
![most-dislike-matches.jpg](https://qiita-image-store.s3.amazonaws.com/0/262932/d79c502b-79b6-e6f7-d283-9ac834480785.jpeg)

  

##2018年ワールドカップ試合での感情分析

コメントをさらに処理した後、2018年ワールドカップ試合8件についての感情分析は次のような結果が得られました。

 ![sentiment-analysis.png](https://qiita-image-store.s3.amazonaws.com/0/262932/0352e3bb-3898-6c69-ee5f-c755ad4fd96d.png)


 

#まとめ

データは面白いです。データ抽出とデータ分析ツールの急速な発展と普及のおかげで、今情報の収集や分析をよりはやくより簡単に行うことができます。