robots.txt ファイルを含むすべての URL で 503 (service unavailable) HTTP ステータス コードを返すことにより、すべてのクロールを一時的に停止できます。robots.txt ファイルへのアクセスは、再び可能になるまで定期的に再試行されます。robots.txt ファイルを変更してクロールを不許可にすることはおすすめしません。