しかし1749年(寛延2年)に酒井氏は姫路藩に転封となり、後任の松平氏も前橋城が利根川に浸食されたため、川越城に居城を移転、有力檀家の減少で次第に寺運衰微していった。