A partir de este momento los sucesivos señores de Moguer no volvieron a residir en la villa, por lo que la Casa-palacio fue vendiéndose por partes y reemplazándose por nuevas construcciones, excepto las antiguas caballerizas que han perdurado hasta nuestros días en la actual esquina Plaza del Marqués - calle Burgos y Mazo.