先生一职的源义贤的次子。幼名驹王丸，为一个名叫小枝御前的游女所生。义仲早期的生平史料记载匮乏，相传他出生在武藏国的大藏馆（今埼玉县岚山町），也有可能出生在义贤居住的上野国多胡郡（今群马县多野郡）。根据《平家物语》、《源平盛衰记》记载，其父义贤同伯父源义朝对立，结果源义朝派源义平袭击义贤，在大藏馆杀死了义贤。义平试图杀害当时年仅2岁的驹王丸，但被畠山重能和斋藤实盛设计救出，逃往信浓国。而根据《吾妻镜》记载，驹王丸被信浓国住人中原兼远认为养子，居住在信浓国木曾谷（今长野县木曾郡木曾町），元服后取名木曾次郎义