Robots.txt dosyası dahil tüm URL'ler için 503 (service unavailable) HTTP durum kodu döndürerek tüm tarama etkinliğini geçici olarak askıya alabilirsiniz. Robots.txt dosyası, yeniden erişilebilir oluncaya kadar belirli aralıklarla yeniden denenir. Taramayı reddetmek için robots.txt dosyanızı değiştirmenizi önermeyiz.