平治元年（1159年），希义的父亲在源义朝和兄长源义平等在平治之乱中死去，原本身霍骏河国香贯（现静冈县沼津市香贯町）的希义被舅父转交给朝廷处置。永历元年（1160年）3月11日，其另一兄长源赖朝被流放至伊豆国当天，希义则被流放至土佐国介良荘（现高知县高知市介良）。其后，自称「土佐冠者」，随后在土佐长大成人。治承4年（1180年）8月，赖朝举兵，平家怀疑希义有份协助，因此向其发出追讨令。希义本来拜托了协助其逃亡，但是被平重盛莲池家纲和平田俊远动悉先机，在年越山（现高知县南国市一带）奇袭并且成功杀死希义。