能出生在义贤居住的上野国多胡郡（今群马县多野郡）。根据《平家物语》、《源平盛衰记》记载，其父义贤同伯父源义朝对立，结果源义朝派源义平袭击义贤，在大藏馆杀死了义贤。义平试图杀害当时年仅2岁的驹王丸，但被畠山重能和斋藤实盛设计救出，逃往信浓国。而根据《吾妻镜》记载，驹王丸被信浓国住人中原兼远认为养子，居住在信浓国木曾谷（今长野县木曾郡木曾町），元服后取名木曾次郎义仲。兼远的三个亲生儿子英勇非常，在木曾义仲起兵后，成为木曾麾下的心腹悍将，是义仲四天王中的三位。此外，义仲在年轻时曾在诹访大社下社的宫司金刺盛