神主家を世襲していた佐伯氏は、承久3年(1221年)の承久の乱で後鳥羽上皇側に属したために争いの後に神主家の座を奪われ、代わって御家人の藤原親実が厳島神主家となった。