社是在文化4年（1807年）才称作伊射波神社，加上一般是以最接近国府的式内大社为一宫，而相比起伊射波神社，伊杂宫的位置更为接近志摩国府志摩郡。按《志阳略志》记载「」，神社可能毁于战国时代、安政元年（1854年）11月发生的、或火灾。神社在明治的近代社格制度中属于无格社。昭和31年（1956年），神社重建笼堂，及后在昭和51年（1976年）重建本殿和拜殿。平成13年（2001年），神社重建神明造的本殿和拜殿，并且移师至现址。