清和源氏義忠流(河内源氏)、左兵衛権佐源義高の子。