Johannes Tzimiskes døde plutselig i 976 etter dette andre felttoget mot abbasidene. Han ble gravlagt i Arslan Hane-kirken i Konstantinopel som han selv hadde gjenoppbygd. Flere kilder har hevdet at han ble forgiftet av sin kammerherre Basileios Lekapenos (angivelig en illegitim sønn av den tidligere keiser Romanos I) for å hindre keiseren i å frata ham sine landeiendommer. Historikeren John Julius Norwich hevder imidlertid at dødsfallet skyldtes en av de svært vanlige sykdommene på den tiden, tyfus, malaria eller dysenteri. Tzimiskes døde barnløs og ble etterfulgt av sin myndling og nevø Basilios II som hadde vært medkeiser siden 960.