આનાથી ખાતરી થશે કે Google અને અન્ય શોધ એન્જિન બીજા ડોમેનનું ઇન્ડેક્સ નહીં કરે અને તમને ડુપ્લિકેટ સામગ્રી માટે શિક્ષા કરે છે.