Con el paso del tiempo la familia no tuvo recursos para mantener el palacio y la esposa de Matías Astoreca decidió venderlo.