A pókok, vagy robotok az internetes hivatkozásokon keresztül jutnak el egyik weboldalról a másikra (illetve más webhelyekre). A pókok ellenőrzik az oldalak tartalmát, majd hozzáadják azt a keresőmotor indexéhez, ha még nem szerepelt benne, vagy frissült a legutóbbi látogatásuk óta.