અપડેટ # 1: હું ઉલ્લેખ કર્યો છે કે પ્રશ્નોમાંની ફાઇલો સાઇટના રોબોટ્સમાં પહેલેથી જ છે. txt ફાઇલ. રોબોટ્સ સામે દાવો માંડવો. txt રુપરેખાંકન યોગ્ય રીતે કામ કરી રહી છે, મેં રોબોટ્સનો પણ ઉપયોગ કર્યો છે. ગૂગલ વેબમાસ્ટર ટૂલ્સમાં ટી.ટી.એસ.ટી. ટેસ્ટર, જે દર્શાવે છે કે બધી જ બૉટો માટે ફાઈલો ચોક્કસપણે અવરોધિત છે, એક અપવાદ સાથે: Adsbot-Google. મને ખાતરી છે કે તે ક્યાં વિશે ક્યાં છે. અને મેં કેટલીક ફાઇલો માટે Google ને શોધી કાઢ્યું, અને તે શોધ પરિણામોમાં દેખાતા નથી.