Ved inngangen til 1204 var tilliten til Isak II og Alexios IV svært liten blant folket i Konstantinopel fordi de viste liten evne til å forsvare byen mot latinsk og venetiansk påvirkning. Alexios V dukket opp som leder av den antilatinske bevegelsen og ledet personlig noen trefninger mot korsfarerne. Under et opprør mot de to keiserne barrikaderte de seg i keiserpalasset og ga Alexios V i oppdrag å forhandle med korsfarerne om betaling av den gjelden keiserne hadde pådratt seg. Alexios V benyttet i stedet sin tilgang til palasset til å ta keiserne til fange og ta dem av dage. Den unge Alexios IV ble kvalt, mens hans far Isak II døde kort etter av usikker årsak. Alexios V ble kronet til keiser i begynnelsen av februar 1204.