SEMrushは、1時間後、または100回のリクエスト後にrobots.txtファイルを再チェックし、その内容を処理します。