Een crawler is een robot van een zoekmachine die door je website gaat om hem te indexeren. Andere namen voor een crawler zijn bot, robot of spider. Ze gaan door je hele website en vormen een beeld van hoe je website gestructrureerd is, welke pagina’s er zijn en wat er op die pagina’s te vinden is.