世の推移に従い氏地の中には別の祠を建て産土神として祀るところも出て来て、加えて戦国時代には付近一帯に兵乱が続き、社前も次第に衰退し、天正7年(1579年)の織田信長による荒木村重討伐(有岡城の戦い)の兵火により、社殿、宝物、古文書等、ほとんどを焼失した。