1日，其另一兄长源赖朝被流放至伊豆国当天，希义则被流放至土佐国介良荘（现高知县高知市介良）。其后，自称「土佐冠者」，随后在土佐长大成人。治承4年（1180年）8月，赖朝举兵，平家怀疑希义有份协助，因此向其发出追讨令。希义本来拜托了协助其逃亡，但是被平重盛莲池家纲和平田俊远动悉先机，在年越山（现高知县南国市一带）奇袭并且成功杀死希义。由于人们畏惧平家，所以连葬礼也没有举行便将希义的遗体丢弃，最后由希义的师僧，土佐国的琳猷上人带走供养。文治元年（1185年）3月27日，上人在颈上挂上希义的鬓髪前往鎌仓与赖朝