તમે તમારી સાઇટને કેટલી વાર સ્પાઈડર કરી શકો છો તે નિયંત્રિત કરો, જેથી તમે ખાતરી કરો કે તે નવા પૃષ્ઠોને ઇન્ડેક્સમાં ઉમેરવામાં આવે છે.