Fue residencia habitual de los duques de Alburquerque durante siglos, hasta que se trasladan junto a la Corte a Madrid, convirtiéndolo en palacio de recreo y vacaciones, desvinculándose así lentamente del edificio, hecho que se acentúa más aún cuando la línea primogénita del ducado se extingue, y la titularidad pasa a la familia Osorio, descendientes de Ambrosio Spinola, marqués de los Balbases.