江戸時代前期の万治元年(1658年)失火により伽藍を焼失し、再び現在の地に移転した。