母は不詳で源頼義、頼清の異母弟。