1849年(嘉永2年)の火災で本堂や多くの寺宝が焼失し一時衰退するが、1890年(明治23年)に第23代花園硯城が再建した。