Indekseringsboten kalles også ofte for en «spider» eller en «webcrawler» og er et automatisk program som henter sider og systematiserer dem. Avanserte søkemotorer kan ofte bestå av flere slike automatiske programmer som utveksler informasjon seg imellom og lagrer resultater i store databaser.