質問: robots.txt ファイルに誤りがある場合や、サポートされていないディレクティブを使用した場合はどうなりますか?
回答: ウェブクローラは高度な柔軟性を備えており、通常は、robots.txt ファイルに小さい誤りがあっても影響を受けません。一般に、起こりうる最大の問題は、正しくないまたはサポートされていないディレクティブが無視されることです。robots.txt ファイルの解釈においては、書かれていないことは知り得ないという点に留意してください。Google は、取得した robots.txt ファイルを解釈することしかできません。ただし、robots.txt ファイルに含まれる問題点について把握できているのであれば、問題の解決は簡単です。