出羽清原氏的纷争之中，协助藤原清衡击败异父弟清原家衡，此称为后三年之役。后三年之役结束后，朝廷认为此役系清原氏私斗，因而不予奖赏，义家于是自散家财赏有功者，自是其威名更着，被称为「天下第一武勇之士」。1102年，源义家之子源义亲反叛，于1108年被平正盛所杀。经此事后，清和源氏（河内源氏）势力稍减，而伊势平氏开始抬头。1156年保元之乱，崇德上皇与后白河天皇两阵营兵戎相向，源为义属崇德上皇一方，其子源义朝则属后白河天皇方。战后，后白河天皇取得胜利，朝廷令源义朝杀死亲父源为义。1159年平治之乱，