その後天正年間に西光寺は本吉郡大島に移転し、1604年(慶長9年)に現在地に観音堂を移し、「観音寺」と号した。