Den 7. desember samme år døde den unge keiser Otto II i Roma, og Johannes hadde forberedt på den tilstundende død. Han ble begravet i Peterskirken. Ottos etterfølger, sønnen Otto III, var bare tre år. Moren hans, Theophania, var regent under hans mindreårighet.