Filmarksからのデータ抽出を目的としたウェブスクレイピングの勉強 #1

順番が前後してしまいましたが今回が1回目です。

ホームページ：https://program-board.com
ウェブスクレイピングの勉強として,Filmarksより年代別で高評価となっている映画一覧の作成を最終目的としたデータ抽出を行います．本稿では，とりあえず第1目標としてFilmarksの1ページ目の映画タイトルを抽出することを目指します．

#なぜ，Filmarksなのか



多くの映画レビューサイトがある中で，なぜ「Filmmarks」なのか.理由はHTMLの構造式が単純でスクレイピング初心者に向いているからではないか，とのことです．実際そうなのか，検証はできていませんが，素人ではわからないので素直に従います．以下の文はネットより抜粋したものです.

<blockquote class="wp-block-quote"><p><code>Filmarksは「国内最大級の映画レビューサービス」です。2018年8月23日22時頃で5314万3638件のレビューが掲載されています。 
映画レビューサイトはFilmarks以外にもYahoo!映画や映画.com、みんなのシネマレビューなどがあります。
ほかにも映画レビューサイトはあるのになぜFilmarksからレビューを取得するのかというとまず「HTMLの構造が単純でスクレイピングしやすい」というのがあります。複雑なHTML構造をしていないため、スクレイピング初心者の方やPython初心者の方がスクレイピングを学ぶ入り口としてはちょうどいいのではないかと思います。
https://crimnut.hateblo.jp/entry/2018/08/30/120000


#モジュール
主なモジュールは，webデータダウンロード用の「requests」，HTML解析用のライブラリ「bs4(beautiful soup4)」を用います.

```python
import requests #webデータダウンロード用
from bs4 import BeautifulSoup  # HTML解析用のライブラリ</code></pre></div>
```


#webページの情報を取得

requestsを用いてWebページをダウンロードにかかります．requests.getを用いて任意の以下のURLのページをダウンロードします．https://filmarks.com/list/trend</p>

```python
import requests

url= &#39;https://filmarks.com/list/trend&#39;
res = requests.get(url)
res.text
```
<!-- wp:image {"id":225} -->
<figure class="wp-block-image"><img src="https://program-board.com/wp-content/uploads/2019/10/スクリーンショット-2019-10-01-3.03.51-1024x419.png" alt="" class="wp-image-225"/></figure>
<!-- /wp:image -->


#HTMLの情報を整形


商品ページのHTMLがダウンロードできました．しかし，HTMLの内容が改行なしのべた書きのため，このままでは解析しづらいです．<br> そこで，解析しやすくするためにbs4を使い，読みやすい形に整形します．※ここでは，BeautifulSoupの引数にHTMLの情報だけを用いているが，人によっては「features='lxml'」を入力しないと回らないようです．

```python
import bs4

soup = bs4.BeautifulSoup(res.text) #features=&#39;lxml&#39;)
print( soup.prettify() 
```

<!-- wp:image {"id":224} -->
<figure class="wp-block-image"><img src="https://program-board.com/wp-content/uploads/2019/10/スクリーンショット-2019-10-01-3.04.11-1024x407.png" alt="" class="wp-image-224"/></figure>
<!-- /wp:image -->


#抽出したい項目を確認

HTMLの情報の整形はできました．では，抽出にかかります．本稿では映画タイトルを抽出いたしますが，HTMLで映画タイトルがどのように格納されているか，わかりません．ここでは，Safariの場合で抽出したい情報の確認方法を記述します．

#Safariの設定

<!-- wp:paragraph -->
<p>SafariでHTMLの情報(ソースコード)を確認するには，デフォルトの設定から変更する必要があります．Safariの環境設定を開き，「詳細」の下部分に「メニューバーに"開発"メニューを表示」にチェックを入れます．</p>
<!-- /wp:paragraph -->

<!-- wp:paragraph -->
<p>これにより，ソースコードの閲覧ができます．今回は映画のタイトルを抽出するので，タイトルを右クリックし，「要素の詳細を表示」より映画タイトルを示すソースコードがわかります．</p>
<!-- /wp:paragraph -->

<!-- wp:gallery {"ids":[267,268]} -->
<ul class="wp-block-gallery columns-2 is-cropped"><li class="blocks-gallery-item"><figure><img src="https://program-board.com/wp-content/uploads/2019/10/スクリーンショット-2019-10-01-23.42.38-1-1024x570.png" alt="" data-id="267" data-link="https://program-board.com/?attachment_id=267" class="wp-image-267"/></figure></li><li class="blocks-gallery-item"><figure><img src="https://program-board.com/wp-content/uploads/2019/10/スクリーンショット-2019-10-01-23.47.43-5-1024x723.png" alt="" data-id="268" data-link="https://program-board.com/?attachment_id=268" class="wp-image-268"/></figure></li></ul>


#ソースコードの確認

上記の作業より，以下のような画面になります．この画面における映画のタイトルを示すソースコードは，左側の赤枠と右側の青ハッチングです．本稿でのプログラムでは左側の赤枠をつかいます．<br>ソースコードの意味自体は勉強不足でわかっていませんので，わかり次第記載します．

<!-- wp:image {"id":271} -->
<figure class="wp-block-image"><img src="https://program-board.com/wp-content/uploads/2019/10/スクリーンショット-2019-10-01-23.48.26-2-1024x717.png" alt="" class="wp-image-271"/></figure>
<!-- /wp:image -->

<!-- wp:paragraph -->
<p><code><code>※他サイトでは右側のソースコードをベースに用いているが，筆者の構文では回らなかったので以下のサイトを参考にしています．回らなかった理由いついて，投稿時(10/02)ではわかっていません．</code></code><br><a href="https://qiita.com/kawa-Kotaro/items/2c9121eeb384ba348db4">PythonでAmazonのレビューをサーチ</a></p>


#タイトルの抽出


抽出したい情報のソースコードがわかったので，関数は.select(ソースコード)を用いり映画タイトルを抽出します．

```python

titles = soup.select(&#39;h3.p-movie-cassette__title&#39;) #ソースコード
for title in titles:
    print(title.text)</code></pre></div>
```
<!-- wp:image {"id":259} -->
<figure class="wp-block-image"><img src="https://program-board.com/wp-content/uploads/2019/10/スクリーンショット-2019-10-02-0.08.13-1024x414.png" alt="" class="wp-image-259"/></figure>
<!-- /wp:image -->


#今後の予定

本稿ではFilmarksの1ページ目の映画タイトルのみを抽出しました. 今後は以下のようなことをやりたいと考えております．
1ページ目で映画タイトル以外の項目も同時に抽出する1-10ページまでの情報を抽出する．Filmarksの全ページの情報を抽出する．年代別で高評価となっている映画一覧の作成(ここではSQLも使用する予定)

時間はかかるとは思いますが，徐々にやっていきます．



#参考文献

<p><a href="https://qiita.com/myktlt/items/5e87f409ae9cee31b907">Filmarksから鑑賞済映画のスコア一覧を取得する</a><br><a href="https://crimnut.hateblo.jp/entry/2018/08/30/120000">PythonでFilmarksから映画レビューを全件取得する</a><br><a href="https://qiita.com/kawa-Kotaro/items/2c9121eeb384ba348db4">PythonでAmazonのレビューをサーチ</a><br><a href="https://wayohoo.com/safari/tips/how-to-view-source-code-of-web-page.html">Safariでウェブページのソースコードを見る方法。（HTML ＆ CSS）