Los bots "buenos" cumplen los estándares de exclusión de robots, que los operadores de servidores pueden usar para influir en el comportamiento de un robot dentro de unos límites.