Tras la toma del castillo y la posterior terminación de la guerra el edificio fue abandonado, siendo habitado de nuevo durante el Segundo Imperio (1864-1867) cuando el emperador Maximiliano lo transforma en residencia Imperial.