ほとんどのページはクロールさせる必要がありますが、あえてクロールさせない方が良い場合もあります。
具体的には、以下のようなケースです。
会員ユーザー限定のページ
テストページ
重要度の低いファイル
検索ユーザーに必要ないページ
上記のようなケースではrobots.txtやnoindexタグを設定し、クロールを制御するなどの対策が必要です。