Axtarış botu

Axtarış botu — Ümumdünya hörümçək torunu sistematik şəkildə analiz edən və adətən veb indeksləşdirmə məqsədilə axtarış motorları tərəfindən idarə olunan internet botu.

Veb axtarış mühərrikləri və bəzi digər veb-saytlar öz veb məzmununu və ya digər saytların veb məzmununun indekslərini yeniləmək üçün axtarış botundan istifadə edirlər. Axtarış botu axtarış mühərriki tərəfindən emal edilməsi üçün səhifələri kopyalayır. Bu da istifadəçilərə daha səmərəli axtarış edə bilmə imkanı verir.

Axtarış botları ziyarət edilən sistemlərdə resursları istehlak edir və tez-tez saytları xəbərsiz ziyarət edirlər. Böyük səhifə kolleksiyasına rast gəldikdə planlama, yüklənmə və "nəzakət" problemləri gündəmə gəlir. Bunu axtarış botuna bildirmək üçün indekslənmək istəməyən ictimai saytlar üçün mexanizmlər mövcuddur. Məsələn, robots.txt faylı botlardan veb-saytın yalnız müxtəlif hissələrini indeksləşdirməyi və ya ümumiyyətlə indeksləşdirməməyi tələb edə bilər.

İnternet səhifələrinin sayı olduqca çoxdur; hətta ən böyük botlar belə tam indeks yaratmaqda çətinlik çəkirlər. Bu səbəbdən, axtarış sistemləri Ümumdünya hörümçək torunun ilk illərində, 2000-ci ildən əvvəl müvafiq axtarış nəticələrini vermək üçün mübarizə aparırdılar. Bu gün müvafiq nəticələr demək olar ki, dərhal verilir.

Axtarış botları hiperlinkləri və HTML kodunu təsdiqləyə bilər. Onlar həmçinin veb skreypinq və məlumatlara əsaslanan proqramlaşdırma üçün istifadə edilə bilər.

 Həmçinin bax 
 Avtomatik indeksləmə
 Gnutella
 Veb arxivləşdirmə
 Webgraph
 Oflayn oxucu
 Axtarış mühərriki skreypinqi
 Veb skreypinq

 İstinadlar 

 Əlavə ədəbiyyat 
 Cho, Junghoo, "Web Crawling Project", UCLA Computer Science Department.
 A History of Search Engines, from Wiley
 WIVET is a benchmarking project by OWASP, which aims to measure if a web crawler can identify all the hyperlinks in a target website.
 Shestakov, Denis, "Current Challenges in Web Crawling" and "Intelligent Web Crawling", slides for tutorials given at ICWE'13 and WI-IAT'13.

 Xarici keçidlər 

Kateqoriya:İnternet botları
Kateqoriya:Axtarış sistemləri