検索エンジンは、ページをクロールすることで初めてそのページの存在や内容を認識することができます。 クローリングの最適化を実施することで、新しく作成したページや更新したページが、検索エンジンにより伝わりやすくなることが期待できます。