મેટા રોબોટ્સ ટૅગથી શોધ એન્જિનના ક્રોલર્સને જાણ થાય છે કે પૃષ્ઠ અનુક્રમિત થવું જોઈએ કે નહીં અને તેમના ડેટાબેઝમાં શામેલ હોવું જોઈએ.