Hay registros que en el año 1168, un sacerdote sintoísta, Saeki Kagehiro, había reconstruido y ampliado los edificios, a su configuración actual.