后，清和源氏（河内源氏）势力稍减，而伊势平氏开始抬头。1156年保元之乱，崇德上皇与后白河天皇两阵营兵戎相向，源为义属崇德上皇一方，其子源义朝则属后白河天皇方。战后，后白河天皇取得胜利，朝廷令源义朝杀死亲父源为义。1159年平治之乱，源义朝败给平清盛，被杀。1160年源义朝之子源赖朝被流放至伊豆。1180年，源赖朝举兵反抗平氏政权，并开府于鎌仓。1183年，源义仲攻入京都。1184年源氏内讧，源义仲败亡。1185年3月源义经击败平氏于坛之浦，安德天皇投水，平氏政权败亡。1185年冬，源义经与