寺地が狭くなったため慶安4年(1651年)に現在地に移り、寺名も大雲山観音寺に改められた。