天正11年(1583年)に、ほとんどの堂宇が焼失するも、延宝6年(1678年)、広大な寺地の中で愛宕権現社があった所に現在の建物が復興された。