Den første av helligdommens bygninger ble trolig reist på 600-tallet, og helligdommen har blitt ødelagt flere ganger siden den gang. Dagens helligdom er fra midten av 1500-tallet, og følger den tidligere utformingen fra 1100-tallet. Designet er fra 1168, da krigsherren Taira no Kiyomori bevilget midler til det. Helligdommen ble designet og bygget på brolignende strukturer over bukten slik at det skulle se ut som om det fløt på vannet, atskilt fra den hellige øya, som bare de fromme fikk nærme seg. I nærheten av hovedtempelet ligger et No-teater, etablert av Toyotomi Hideyoshi på slutten av 1500-tallet. Ingen teater har lvært brukt lenger for å hedre Shinto-gudene. Teateret gjenskaper viktige hendelser i shintoismens mytiske historie.