Etter pave Benedikt VIIs død ble han valgt til pave med keiser Otto IIs godkjennelse, og ble kronet til pave enten i slutten av november eller begynnelsen av desember 983, hvorved han tok navnet Johannes XIV. Johannes var Ottos annenhåndsvalg. Navne Johannes tok han fremfor sitt eget navn Peter (Pietro) idet han ikke mente seg verdig å bære det samme navn som Apostelen Peter.