Doña Josefa de Mirabal, III Marquesa de Mirabal, consiguió permiso del Consejo de Castilla para enajenar el Señorío y venderlo al Infante Don Luis, que encargó al arquitecto Ventura Rodríguez remodelar el Palacio de las Dos Torres.