社伝によると、雄略天皇23年に伊勢神宮の斎宮である皇女・倭姫命の示教によって岡本豊足彦が五柱の皇大神を奉祀する地を探し求め、付近の小川谷の地に祀ったという。