神社创建有关的传承，记载于《倭姬命世记》中。内容如下述：。认为这个传承是强行将的大岁神与佐美长神社扯上关连」。《矶部町史》则认为是「管治当地的矶部氏创立的稻作之神」。
近世.江户时代初期，神社的祝职由内宫任命，称为「内人」。宽文2年（1662年），断绝多时的伊杂宫迁宫再次举行，由和主担任造营奉行，并且以「与其他别宫合併」为由，将社殿规模大幅缩小。此举引起伊杂宫的一众神官大表不满，由原本主张复兴，演变成伊杂宫为本家的内宫的过激主张。宽文3年（1663年），一众神官趁江户幕府征夷大