આ ટૅગ વેબ રોબોટ્સને કહે છે કે શું તેમને ઇન્ડેક્સ અને વેબ પેજને આર્કાઇવ કરવાની અનુમતિ છે.