为台风的缘故小祠被摧毁，于是将该神社迁移到香取山中腹上 ，这座神社就被称为彩帆神社。而后一阵子，当时在赛班岛开发的南洋兴发社长「砂糖王」松江春次，将原本的小祠改建为大规模的神社。此外他还向南洋厅提出将这座神社看成是整个南洋群岛的守护神的要求，但因为南洋神社的兴建而不被採纳。昭和6年（1931年）10月24日，新社殿在目前的位置完工，与天照大神・大国主命合祀、社名为彩帆神社。第二次世界大战时，赛班岛成为了战场，1944年社殿完全被破坏，一直到战争结束都没有再重建。后来为了纪念松江春次 ， 于原本彩帆神