On demande aux robots de ne pas crawler certains répertoires.