伝承によると、かつて海中から浮かび上がった御神体を白狐が咥えて陸に上がったため、村人たちが社を建てて稲荷大明神を祀ったという。