母は平直方の娘で、兄の源義家(八幡太郎)、弟の源義光(新羅三郎)と同腹である。