天正年間(1573年-1592年)には兵火によって焼失してからは寺域も縮小し、現在の境内は、十二社権現と熊野権現が祀られていた宮跡である。