SEMrush comprueba su archivo Robots.txt después de una hora o después de 100 peticiones para volver a comprobar su archivo robots.txt y procesar su contenido.