Robots Exclusion Standard
ワイルドカード "*" を指定した例。あらゆるボットが全ファイルを走査できる。
あらゆるボットが全ファイルを走査できないようにした例。
あらゆるボットが4つのディレクトリ配下を見ないよう指定した例。
特定のクローラが特定のディレクトリ配下に行かないよう指定した例。
あらゆるボットが特定のファイルを見ないよう指定した例。
この場合、そのディレクトリ配下の他のファイルはボットから隠蔽されない。
"#" からその行末まではコメントとして扱われる。