質問: ウェブサイトのすべてのクロールを一時的に停止するにはどうすればよいですか?
回答: robots.txt ファイルも含め、すべての URL に対して HTTP 結果コード 503 を返すことで、すべてのクロールを一時的に停止できます。robots.txt ファイルは、再びアクセスできるようになるまで定期的に再試行されます。robots.txt ファイルを変更してクロールを不許可にすることはおすすめしません。