خزنده وب

خزندهٔ وب، (انگلیسی: Web Crawler) یک برنامه رایانه‌ای است که توانایی مرور و ثبت اطلاعات را از وب‌سایت‌ها به صورت خودکار دارد. «خزندهٔ وب» به چندین شکل مختلف تعریف می‌شود که برخی از آنان:
 عنکبوت‌های وب (انگلیسی: Web Spider)
 فهرست سازان خودکار (انگلیسی: Automatic Indexers)
 ربات‌های نرم‌افزاری خودکار (انگلیسی: Web Robots)
 نرم‌افزارهای FOAF.
 ...
را شامل می‌شود.

دلایل استفاده 
به عنوان مثال موتورهای جستجوگر با بهره‌گیری از این گونه نرم‌افزارها به صورت خودکار صفحات مختلف وب سایت‌ها را ثبت، آنالیز و رده‌بندی می‌کنند.

نمونه‌ها 
 Googlebot
 FAST Crawler: یک خزندهٔ توزیع‌شده.
 GM Crawl: یک خزندهٔ بسیار مقیاس‌پذیر که به شیوهٔ نرم‌افزار اجاره‌ای قابل استفاده است.
 Bingbot: نام خزندهٔ مربوط به موتور جستجوی بینگ متعلق به شرکت مایکروسافت. جایگزین Msnbot.
 PolyBot
 RBSE
 Swiftbot
 WebCrawler
 WebRACE
 WebFountain
 World Wide Web Worm
 Yahoo! Slurp

نمونه‌های متن‌باز 
 Frontena
 GNU Wget
 GRUB
 Heritrix
 ht://Dig
 HTTrack
 mnoGoSearch
 news-please
 Apache Nutch
 Open Search Server
 PHP-Crawler
 Scrapy
 Seeks
 Sphinx
 StormCrawler
 Xapian
 YaCy
 Octoparse

منابع 

الگوریتم‌های جستجوی اینترنتی
خزنده‌های وب
نرم‌افزار آزاد