W tej sytuacji Izaak odnowił przymierze z królem Węgier, ale zaledwie wyruszył w pole 8 kwietnia 1195 roku młodszy brat cesarski Aleksy pozbawił Izaaka II władzy i kazał oślepić. Na osiem lat Izaak II trafił do cesarskiego więzienia. Odmianę losu przyniosła mu dopiero wyprawa krzyżowa, którą w lipcu 1203 roku sprowadził pod Konstantynopol jego syn Aleksy. Po pierwszych szturmach miasta cesarz Aleksy III zbiegł do Tracji. Urzędnicy cesarscy wyprowadzili wówczas z więzienia oślepionego eks-cesarza Izaaka II i osadzili na tronie. Władzę objął jego syn Aleksy, jako Aleksy IV. Ślepy cesarz otoczony astrologami, ostatnie miesiące życia spędził na słuchaniu ich przepowiedni, które brzmiały coraz gorzej. W styczniu 1204 roku Aleksy IV został zdetronizowany i kilka dni później uduszony w więzieniu. Izaak umarł na kilka dni przed śmiercią syna, 28 stycznia ze zgryzoty i złego traktowania.