Durch die richtige Einstellung des Protokolls können irrelevante Seiten ausgeschlossen werden. Dadurch können Bots die Seiten besser und schneller indizieren. Dies wiederum führt zu einer höheren Platzierung in den Suchergebnissen für diese Seiten.