જેમ તમે વોન્ટેડ ક્રોલર્સને કહી શકો છો કે જ્યાં તમે તેમને બ્રાઉઝ કરવા માંગો છો, તમે તેમને તે પણ કહી શકો છો કે જ્યાં તેઓ તમારી સંપૂર્ણ વેબસાઇટથી ચોક્કસ ક્રોલર્સને પણ નથી પણ બ્લોક કરી શકે.