તમે તમારા રોબોટ્સ તપાસી શકો છો. વારંવાર ટાઇપ કરો જો કોઈ પૃષ્ઠ રોબોટ્સ દ્વારા અવરોધિત થયું હોય. txt પરંતુ ગૂગલ (Google) તે ​​બીજી રીતે શોધે છે (તે સાથે જોડતી બાહ્ય સાઇટ્સ) તેઓ URL ઉમેરે છે પરંતુ સામગ્રીને અનુક્રમણિકા કરતા નથી, પરિણામ સામાન્ય રીતે યુઆરએલ ચોક્કસ પ્રશ્નો માટે દર્શાવતો હોય છે જેમ કે "સાઇટ: ઉદાહરણો. com "કોઈપણ વર્ણન વગર શોધો.