Por mucho tiempo, el palacio permaneció en un relativo abandono y el deterioro fue patente durante el siglo XIX.