質問: robots.txtはどういう時に使えばいいの?
回答: 検索エンジンなどのクローラーを制御したい時に利用します。例えばWebサイトの規模が大きい場合、クローラによってサーバーに負荷がかかり、表示速度などに影響してしまうことがあります。そのようなサイトではrobots.txtで不要なページへのアクセスを制御することで、クローラは効率的にサイト内を巡回することができサーバーへの負荷が軽減します。