El Ministerio de la Casa Imperial asumió el control del palacio en 1883, y desde el final de la Segunda Guerra Mundial, por la Agencia Imperial.