質問: なぜrobots.txtファイルを確認しなくてはいけないの?
回答: robots.txtファイルに問題があったり、robots.txtファイルがなかったりするとseoスコアが悪くなったり検索エンジンの結果ページで上位にランクインしないことがあります。重要なコンテンツの前に関連性の低いコンテンツがクロールされるリスクがあるからです。 サイトがクロールされる前にファイルを確認することで、インデックスしてもらいたいページだけでなくサイトのすべてのコンテンツがクロールされてしまうというトラブルを防げるのです。例えば登録フォームやログインページを入力した後でしかアクセスできないページがある場合、robot.txtファイルで除外しなければインデックスされてしまう可能性があります。