社伝では、1066年(治暦2年)に京都の賀茂神社から勧請されたと伝える。