質問: 使用しているサーバーでは大文字と小文字が区別されません。一部のフォルダのクロールを完全に不許可にするにはどうすればよいですか?
回答: robots.txt ファイルのディレクティブは大文字と小文字が区別されます。この場合は、正規化の方法を使用して、1 つのバージョンの URL のみがインデックスに登録されるようにすることをおすすめします。これにより、robots.txt ファイルの行数が少なくなるため、管理しやすくなります。この方法が不可能な場合は、フォルダ名の一般的な組み合わせを列記するか、名前全体ではなく最初の数文字だけを使用して名前をできる限り短くすることをおすすめします。たとえば、`/MyPrivateFolder` の大文字と小文字のすべての組み合わせを列記する代わりに、「/MyP」の組み合わせを列記します(同じ名前で他にクロール可能な URL が存在しないことが確実な場合)。または、クロールに問題がない場合は、robots メタタグまたは `X-Robots-Tag` HTTP ヘッダーを代わりに使用することもできます。