神社确实创建日期不明，但是至少有1500年以上的历史。按《诸国一宫》记载，神社起源于稚日女尊从海道前往加布良古崎祭祀，从古代开始便作为志摩国的海上守护神受人信奉。延长5年（927年），神社在《延喜式神名帐》中记载为「」。按《诸国一宫》记载，由三重县志摩市矶部町至鸟羽市安乐岛町的区域以前称为粟嶋，而神社和伊杂宫便是该区域的两座伊射波神社。然而在《中世诸国一宫制的基础的研究》中，两座伊射波神社是合祀于伊杂宫内，因此神社并非式内社记载的伊射波神社。建久3年（1192年）的《皇大神宫年中行事》，将神社记载为