質問: robots.txtを構成して、いくつかのディレクトリを除いてサイトのクロールを許可するにはどうすればよいですか? robots.txtの最適な初期設定または一般的な設定は、検索エンジンがサイトを通過できるようにするためですが、いくつかのフォルダーを制限することはできますか?常に使用すべき一般的な設定はありますか?
回答: 特別な要件がない場合の最良の構成は、まったく何もありません。 (少なくとも404がエラーログをいっぱいにしないように、空のファイルを追加することをお勧めします。)サイト上のディレクトリをブロックするには、「disallow」句を使用します。user-agent: * disallow: /example/ 以前の「disallow」句をオーバーライドする「allow」句もあります。したがって、「example」フォルダーを許可していない場合は、「example/foobar」などのフォルダーを許可できます。robots.txtは、必要に応じてこれらのページにアクセスするユーザーを禁止しません。したがって、一部のページを秘密にしておく場合は、何らかの認証(ユーザー名/パスワード)の背後にそれらを隠す必要があります。多くのrobots.txtファイルにある可能性が高いもう1つのディレクティブは「sitemap」で、xmlサイトマップがある場合はその場所を指定します。独自の行に配置します。sitemap: /sitemap.xml official robots.txt site には、さまざまなオプションに関する詳細な情報があります。しかし、一般に、大多数のサイトではほとんど構成は必要ありません。