天平宝字8年（764年）、藤原仲麻呂（恵美押勝）の乱の際に逃れた淳仁天皇の隠棲伝説も伝わり、須賀神社の祭神として祀られている。須賀神社は明治時代まで保良神社と称され、この地が淳仁天皇の保良宮（ほらのみや）であったとされる。また、天正元年（1573年）、小谷城落城の際に浅井長政の子の万菊丸が菅浦の安相寺に逃れたという伝承もある。