En 1723 el palacio estaba en manos de los condes de Ayanz.