Desde entonces el palacio fue cambiando de propietarios frecuentemente, habitualmente pequeña nobleza local, a menudo sin dinero y necesitada.