仁徳天皇の時代に、神社の北東に高橋山という山があり、この前を馬で通り掛かると必ず馬がつまずき、皆が不思議に思っていたところ、「我はこの山の主なり、我を敬えば万民安全にして、風雨違えず五穀豊穣なり」と言う神の言葉が聞こえたため、祠を立て祀ることとなった。