图奉法皇出兵北国；但源范赖、源义经率镰仓军迫近京都，义仲不得不固守京都防备。由于幽禁法皇等一系列暴行，很少人支持义仲，因此在宇治川和濑田之战中惨败。义仲自己则于20日在近江国的粟津（今滋贺县大津市）阵亡，享年31岁。义仲战死后，嫡子义高在妻子大姬（源赖朝的女儿）的帮助下逃离镰仓，但在半路上被赖朝杀死，义仲的家系断绝。此外，战国时代的木曾氏自称是木曾义仲的子孙。