しかし噴火により社殿を焼失したため、錆ヶ浜の二島ヶ山(にとがやま、新富賀山/二富賀山)の荒島神社()の地に遷座、その後さらに現在地に遷ったという。