当時から頼光の神儀及び霊像を安置する香華院として祥雲山と号して、真言律宗に属していた。