保元の乱以降、大宰大弐(大宰府の第二等官)に続けて任官した平氏(平清盛・平頼盛)と私的主従関係を結ぶ。