質問: 今、Pythonを学習する中で、**スクレイピング**に興味を持っています。 そこで、BeautifulSoup4を使って、こちらのサイト(https://qiita.com/matsu0228/items/edf7dbba9b0b0246ef8f)などを使って、簡単なスクレイピングをしてみました(特定のclassのタグのtextを取得するなど)。 そのあとスクレイピングについて調べていて、法に触れないように色々注意が必要なこととrobots.txtというものを知りました。 **そこで2つお聞きしたいです。** **1.** 今後、TwitterAPIと連動して、特定のサイトの情報をつぶやくbotを作成したいと考えています。 たとえば、都内の映画館のサイトの上演情報の欄などをスクレイピングして、その結果をもとにTwitterで 「今週都内で見れる映画はこちら ・~ hogeシアター ・~ hogehoge館 ・~ hogeシネマ」 のように呟くというようなアプリを開発する際に、まず**このこと自体は違法ではないか**ということと、 **2.** ある劇場で下記のようなrobots.txtがありました。 ``` User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php ``` **これはどういう意味ですか?** wp-adminというのはphpの開発環境の管理画面?のようなものでしょうか?(Pythonが初学のためよくわかりません) この場合、Allow:以下の部分しかクロールしてはいけませんということでしょうか? その場合、普通にブラウザで一般客が閲覧するような画面は含まれませんよね? ちなみにAllow: のところをブラウザで直接打ち込んで開くと「0」とだけ書かれたページが表示されます。 これは実質クロール禁止ということですか? 以上2点、お教えいただければ幸いです。 宜しくお願い致します。
回答: ページの意味を考える必要はありません。`Disallow`が禁止で`Allow`が許可というだけです。 スクレイピングで得た情報の利用方法の制限について、利用規約に書いてある可能性がありますので、熟読して、不明点はサイトに問い合わせましょう。 つぶやくと言う事は、得た情報を第三者に提供すると言う事なので、制限されているかも知れません。