江戸時代の寛文元年(1661年)に火事で焼失するが、寛文2年(1662年)第39世光譽萬霊上人によって現在地に移転し、2年後の寛文4年(1664年)に本堂の釈迦堂が建てられ再興された。