La estructura principal, el "Kannon-den" (観音殿) comenzó a construirse en 1482 y buscaba emular el Kinkaku-ji o «Pabellón dorado» construido por su abuelo Ashikaga Yoshimitsu, pero lamentablemente no pudo recubrir el edificio con plata tal y como lo había planeado inicialmente.