Durante los años siguientes se usó como residencia con cierta irregularidad, albergando al marqués sólo algunas temporadas en sus posesiones velezanas por motivos de gestión de las propiedades o de caza.