મૂળ, આ મંદિર એક ત્યજી દેવાયેલા આશ્રમ અને મનોરની જગ્યા પર બાંધવામાં આવ્યું હતું, જે અશિકાગા યોશિમિત્સુને એક સરકારી કેન્દ્ર - ચીનની પેલેસમાં રૂપાંતરિત કરી હતી.