神武天皇の時代に出雲国の開拓神を迎えて祀り、545年(欽明天皇6年)に綿向山の頂上に祠を建てたのが始りと伝えられ、平安時代の初期の796年(延暦15年)に現在の地に移転されたとされている。