質問: 現在、スクレイピングの勉強をしております。 試しに、TripAdvisorのページにスクレイピングをしていたところ 取得できない項目が出てきたため、質問させていただきました。 取得したいのは以下のページの「公式サイト」と書かれている項目のリンクとなります。 https://www.tripadvisor.jp/Attraction_Review-g14124519-d321408-Reviews-Nijo_Castle-Nakagyo_Kyoto_Kyoto_Prefecture_Kinki.html 該当する箇所を引っ張ってきたところ 公式サイト と表示されており、リンク先を見つけることができませんでした。 自身で調べたところ、Seleniumをつかってjavascriptの情報を取得する方法も見つけたのですが、そもそもコード内にURLの飛び先情報が書かれていなかったため、スクレイピングにて情報が取得できるのかわからず、質問させていただきました。 ご知見のある方いらっしゃいましたら、何卒ご教示いただければと存じます。 よろしくお願いいたします。
回答: それ以前の問題として、TripAdvisorの無断でのスクレイピングは、利用規約で禁止されています。 > > (ii)本契約に準拠する場合や当社が事前に書面で許可した場合を除き、その目的を問わず、ロボット、スパイダー、スクレイパーまたは他の自動化ツールまたは手動プロセスを使用して、サービスのコンテンツ(ユーザーのプロフィールや写真を含むがこれらに限定されない)へのアクセス、監視、複製、配信、送信、放送、表示、販売、ライセンス付与、コピー、またはその他の方法で利用すること、 > > >