河内源氏第二代栋樑。源赖义是初代栋樑源赖信的嫡子，母亲为修理命妇。根据《中外抄》的记载，他是弓箭的达人，年轻之时被誉为武勇，其武勇获得其父源赖信的很高评价。向关白藤原赖通推荐长子源赖义为武者、次子源赖清为藏人。后被派往陆奥，曾先后参加前九年之役和后三年之役。