Etter at Otto hadde reist kom Johannes tilbake med et betydelig antall venner og tjenere, og Leo måtte flykte. Det ble uenighet om hvem som var den rette paven, og Johannes XII levde et år etter at Leo ble utnevnt. Otto snudde for å støtte Leo, men før han rakk frem til Roma var Johannes død. Dødsårsaken er usikker, men ryktene fortalte at han hadde blitt myrdet av en sjalu ektemann som oppdaget ham i seng med kona. Et annet rykte fortalte at han fikk slag mens han var i seng med en gift kvinne. Det skal ha blitt sagt, med romernes røffe humor, at man skal ha vært overrasket over at han fikk dø i en seng ettersom alle hadde regnet med at han ville blitt myrdet.