安政4年(1857年)に出火により本堂・太子堂などが焼失した。