Roboty indeksujące (Googleboty, crawlery, spidery) to programy, których zadaniem jest analiza i odczyt strony internetowej wraz z jej podstronami. W ten sposób aktualizują informacje w wyszukiwarce.
Jeżeli zmienimy tytuł podstrony naszej witryny, będzie on widoczny jedynie na naszej stronie. W wynikach wyszukiwania, dopóki roboty indeksujące nie zaktualizują zmiany, nadal będzie występowała stara treść.