然而由于先前的影响，木曾义仲的6万大军军粮无觅，遂开始劫掠京师，以致人心大失。其后在追击平家的数次战役中更屡为平家所败，元气大伤。同年，收到后白河法皇勤王密令的源赖朝派遣源范赖及源义经统率5万大军征讨木曾义仲。1184年1月，众叛亲离的木曾义仲于宇治川之战中寡不敌众，在逃往北陆途中于近江粟津遇袭阵亡。至此，源赖朝势力成为天下讨平的唯一主力。
一之谷奇袭.平家一族先前弃京逃往九州后，势力便逐渐回升，更趁源氏相争之际坐收渔利，不但在赞岐屋岛建立行宫，山阳道及濑户内海等亦大半为平家所