Hovedtempelkomplekset ble bygd i Shinzens tid (804 – 891), som var kompleksets andre abbed. Kūkai fikk lov i 816 av keiser Saga (786 – 842) å etablere et religiøst fellesskap i området.