諸堂は慶安4年(1651年)3月の火災で焼失して廃寺(羅漢寺廃寺)となり現在地に移転したと考えられているが、『国志』によれば小堂が建てられて活動が続けられていたという。