クローリングとは、検索エンジンがロボットチーム（クローラーまたはスパイダーと呼ばれる）を送り込み、新しいコンテンツや更新されたコンテンツを発見するプロセスである。コンテンツは、ウェブページ、画像、動画、PDFなどさまざまですが、形式に関係なく、コンテンツはリンクによって発見されます。