Correcciones para que realice el crawling por varios dominios.
Se borran archivos innecesarios.