義経は九郎の通称（輩行名）から明らかなように、源義朝の九男にあたる。『義経記』では実は八男だったが武名を馳せた叔父・源為朝が鎮西八郎という仮名であったのに遠慮して「九郎」としたとする説があるが、義朝の末子であることは確かである。
源義平、源頼朝、源範頼らは異母兄であり、同母兄として阿野全成（今若）、義円（乙若）がいる。また母が再婚した一条長成との間に設けた異父弟として一条能成があり、また異父妹も1人いた。
人間像.
死後何百年の間にあらゆる伝説が生まれ、実像を離れた多くの物語が作られた義経であるが、以下には史料に残された義経自身の言動と、直接関わった人物の義経評を挙げる。
容貌・体格.
義経の容貌に関して、同時代の人物が客観的に記した史料や、生前の義経自身を描いた確かな絵画は存在しない。これは他の歴史上の人物にも共通することで、当時の肖像画の多くは神社仏閣に奉納する目的で描かれたもので、死後に描かれるのが通常である。
義経の死後まもない時代に成立したとされる『平家物語』では、平氏の家人・越中次郎兵衛盛嗣が「九郎は色白うせいちいさきが、むかばのことにさしいでてしるかんなるぞ」（九郎は色白で背の低い男だが、前歯がとくに差し出ていてはっきりわかるというぞ）と伝聞の形で述べている。これは「鶏合」の段で、壇ノ浦合戦を前に平氏の武士達が敵である源氏の武士を貶めて、戦意を鼓舞する場面に出てくるものである。
また「弓流」の段で、海に落とした自分の弓を拾った逸話の際に「弱い弓」と自ら述べるなど、肉体的には非力である描写がされている。
『義経記』では、楊貴妃や松浦佐用姫にたとえられ、女と見まごうような美貌と書かれている。その一方で『平家物語』をそのまま引用したと思われる矛盾した記述もある。『源平盛衰記』では「色白で背が低く、容貌優美で物腰も優雅である」という記述の後に、『平家物語』と同じく「木曾義仲より都なれしているが、平家の選び屑にも及ばない」と続く。『平治物語』の「牛若奥州下りの事」の章段では、義経と対面した藤原秀衡の台詞として「みめよき冠者どのなれば、姫を持っている者は婿にも取りましょう」と述べている。