Johannes var romer, og sønn av en mann ved navn Gundo. Mellom 853 og 869 fremtrer Johannes i de historiske dokumenter som erkediakon i den romerske kirke til hans pavevalg.