Ja, det er muligt at kontrollere, hvor ofte og hvornår søgemaskiner crawler et websted. Dette kan gøres ved at bruge et robots.txt–fil, som fortæller søgemaskinen, hvilke dele af webstedet der ikke skal crawles.