Sin embargo, los administradores de sistemas y desarrolladores de sitios web tienen la capacidad de bloquear el acceso de estos robots a [algunas] páginas web (usando un robots.txt).