父は平治元年(1159年)の平治の乱で謀反人となり敗死。