鼓岡神社
保元元年(1156年)の保元の乱で敗北した崇徳上皇が配流先の讃岐国で設けた行在所と伝えられている。『保元物語』では、崇徳上皇はまず「在庁高遠の松山の御堂(雲井御所跡)」に入り、のち「直島」の御所に移り、そして「鼓の岡」に御所を新造し移ったと記している。また、現在通説となっていて『平家物語異本』や『雲井御所碑』に書かれている説によると、京の洛外の鳥羽 から船で瀬戸内海沿岸沿いに航行し「直島」に立ち寄ったのち讃岐に上陸して御所ができるまでの間「在庁高遠の松山の御堂」に入り約3年過ごした後、「鼓の岡」の御所に移ったとされている。当地に設けられた御所は「木の丸殿(このまるでん)」と呼ばれ、1164年(長寛2年)46歳で崩御されるまでの6年余りの間生活を営んだという。
当地周辺には讃岐国府跡地もあり、当時の讃岐国の中心地であった。また、周辺には内裏泉、菊塚、怨塚などの崇徳上皇ゆかりの遺跡が残っている。
崇徳上皇の崩御後、当地の御所は阿闍梨章実が白峰に移して菩提を弔う頓証寺(白峯寺境内)としたという。『玉葉』には崩御の地に一堂を設けるよう沙汰が下されているが、その命で建てられたのが当社の草創と伝える。また、章実が御所を白峰に移したのち、跡地に代わるものとして建てられたのが当社とも伝える。
「鼓岡」の社名は、丘の頂上付近で地面を叩くと鼓のような音がしたからという。なお、当地は円墳または前方後円墳だったとも見られており、当社近くに鎮座する城山神社では、讃岐国造の祖である神櫛別命の墓とも伝えている。