質問: 当方、robots.txtの書き方で困っております。 お手数ですが、ご教授頂けますでしょうか。 書き方に困っているのは ディレクトの一部のコンテンツだけは許可したい時の記述方法です。 例 ``` Disallow:/aaa/ Allow:/aaa/bbb/ Allow:/aaa/ccc/ ``` 上記/aaa/ディレクトりには複数コンテンツがあり、 「/bbb/」と「/ccc/」ディレクトりのみを許可したいと思ってます。 上記書き方で問題ないか、それともDisAllowを指定せずに Allowのみを記述すべきでしょうか。
回答: 質問のような書き方で良いと思います。Googleのドキュメントに、同じような例が載っています。 ``` # 「example.com/directory1/...」と「example.com/directory2/...」を googlebot からブロック # ただし、「directory2/subdirectory1/...」へのアクセスは許可 # サイト内の他のディレクトリはすべてデフォルトで許可されています。 User-agent: googlebot Disallow: /directory1/ Disallow: /directory2/ Allow: /directory2/subdirectory1/ ``` クローラは原則として、Disallowで指定されていないページやディレクトリはクロールできるので、Disallow指定がないと全ページをクロールしてしまいます。 書き方の確認をしたい場合は、Search Consoleの中にあるrobots.txtテスターを使ってみてください。 robots.txtの内容とURLを入力すると、そのURLをクロールできるか判定してくれます。(ただしGoogleのクローラのみが対象です)