A robotok általában az interneten fellelt hivatkozásokon keresztül jutnak el az újonnan létrehozott oldalakra, de a webmesterek webhelytérképek beküldésével is segíthetik a robotok dolgát. Amikor megérkezik egy webhelyre, a robot ellenőrzi a robotos.txt fájl tartalmát, majd elvégzi az oldalak feltérképezését és indexelését.