De neste fem årene ble forstyrret av fortsatt krig med Bulgaria hvor Isak i egen person ledet flere hærtokt. Til tross for en lovende begynnelse hadde disse krigene liten effekt, og ved en hendelse var det bare så vidt at Isak unnslapp med livet i behold. Mens han forberedte for enda et angrep mot Bulgaria i 1195 tok hans eldre bror Alexios Angelos fordel av at han ikke var tilstede ved leiren, men på en jakttur. Alexios utropte seg selv til keiser og ble øyeblikkelig anerkjent av soldatene som keiser Alexios III. De stakk ut øynene på Isak og fengslet ham i Konstantinopel.