Perayap web

Perayap Web (Bahasa Inggris: web crawler), merupakan mesin/perangkat lunak yang secara sistematis menjelajahi World Wide Web dan biasanya dioperasikan oleh mesin pencari untuk tujuan pengindeksan maupun untuk tujuan pengarsipan.

Cara kerja Perayap web adalah dengan cara mengunjungi URL web tujuan, dan berkomunikasi dengan peladen web yang merespons URL tersebut, perayap web mengidentifikasi semua hyperlink di halaman web yang diambil dan menambahkannya ke daftar URL yang akan dikunjungi, atau yang dikenal dengan istilah crawl frontier. Pada saat perayap web melakukan pengarsipan, perayap akan menyalin dan menyimpan informasi yang ada pada web tersebut, kemudian arsip web akan disimpan, sehingga dapat dilihat, dibaca, dan dinavigasi seolah-olah berada di web asli langsung.

Daftar perayap web 
Beberapa perayap web adalah sebagai berikut:

Perayap web dengan sumber terbuka 
Beberapa perayap web sumber terbuka:

 GNU Wget
 GRUB
 Heritrix
 ht://Dig
 HTTrack
 mnoGoSearch
 Apache Nutch
 Open Search Server
 Scrapy
 Seeks
 StormCrawler
 tkWWW Robot
 Xapian
 YaCy

Perayap web komersial 
Beberapa perayap web berbayar:

 Diffbot
 SortSite
 Swiftbot

Referensi 

Web
Mesin pencari internet
Arsip web
Internet