આ ફાઇલ તમને વેબ ક્રોલર્સને સૂચના આપવાની મંજૂરી આપે છે કે જ્યાં તમે તેમને ઇન્ડેક્સ પૃષ્ઠોને જોશો (જ્યાં સુધી કોઈ વિશિષ્ટ પૃષ્ઠના મેટા ડેટાને નો-ઇન્ડેક્સ કરેલ ન હોય ત્યાં સુધી) જો તે શોધ એન્જીન હોય.