Perteneció originalmente a los príncipes de la rama Hachijō-no-miya; actualmente la Agencia Imperial lo administra, y este palacio es visitado por el público, previa autorización de la agencia.