Tolong jelaskan mengenai Crawler dari Mesin pencari

Merupakan program yang dimiliki mesin pencari untuk melacak dan menemukan link yang terdapat dari setiap halaman yang ditemuinya. Tugasnya adalah untuk menentukan spider harus pergi ke mana dan mengevaluasi link berdasarkan alamat yang ditentukan dari awal. Crawler mengikuti link dan mencoba menemukan dokumen yang belum dikenal oleh mesin pencari.