આ માહિતી ઉપયોગી છે કારણ કે તે વેબમાસ્ટર્સને તેમના એસઇઓને ઠીક કરવા અને રોબોટ ટેક્સટ ફાઇલોને અપડેટ કરવા માટે પરવાનગી આપે છે જેથી ભવિષ્યમાં તેમની સાઇટને ક્રોલ કરવાથી અમુક રોબોટ્સને પ્રતિબંધિત કરવામાં આવે.