質問: ### 気になっていること スクレイピングをする中で、下記のrobots.txtを読んでいます。 Wall Street Journal Onlineのrobots.txt こちらでは「Disallow: /search*」と書かれているのですが、この受け取り方についてちょっとわからないところがあります。例えば、「Disallow: /search*」と「Disallow: /search/*」はどう違うのでしょうか? もうちょっと具体的な質問をすると、 「Disallow: /search*」の場合下記のURLのうちどれがアウトになるのでしょうか? 1https://www.wsj.com/search-aaa 2https://www.wsj.com/search/aaa 3https://www.wsj.com/aaa/search-bbb 4https://www.wsj.com/aaa/search/bbb ご回答よろしくお願いします。 ちなみにスクレイピング関連でこちらの質問も投げています、わかる方いらっしゃいましたらご回答お願いします。 【Python】BeautifulSoupでのスクレイピングでタグがうまく取得できない。
回答: `/search*`は/searchから始まるURL、 `/search/*`は/search**/**から始まるURLがアウトになります。(後者には`search`の後にスラッシュが付いているのがポイント) `/search*`指定の場合は1と2、`/search/*`指定の場合は2のみがアウトになります。 余談ですが、Pythonには標準ライブラリの中にrobots.txtをパースする機能がある(urllib.robotparser)ので、そちらを使ってみてもいいかもしれません。