質問: 特別な動作を設定したくない場合、robots.txtファイルを持っていなくてもかまいませんか? 特別な動作を設定したくない場合、robots.txtファイルを持っていなくても大丈夫ですか?または、1つの欠如は有害ですか?
回答: robots.txtファイルがなくても害はありません。 robotstxt.org webサイト から: すべてのロボットに完全なアクセスを許可するには ユーザーエージェント: * 禁止: (または空の「/robots.txt」ファイルを作成するか、まったく使用しないでください) ただし、robots.txtファイルで何も指定していない場合でも、 xmlサイトマップの場所を検索エンジンに通知する の良い方法です。これを行うには、robots.txtファイルの先頭に次のような行を追加します。 サイトマップ: http://www.example.com/sitemap-host1.xml また、これがないと、webログに多くの404エントリが作成されることに注意する必要があります。