El Príncipe Toshihito, hijo del Emperador Ōgimachi y hermano menor del Emperador Go-Yōzei, y fundador de la rama Hachijō-no-miya, fundó un palacio de retiro en Katsura en 1615.