光圀の時代の寛永20年(1643年)に火災で伽藍は焼失し、万治3年(1660年)に再建されるも明治時代に入ってからは衰退し、1880年(明治13年)には山火事に遭い、本尊を残して再び焼失。