Han besteg pavestolen den 1. mars 705. Johannes hadde gode relasjoner med langobarderne, men desto dårligere med keiser Justinian II. I 692 var det konsil som Konstantinopel anordnet uten å innby andre biskoper enn grekere. Justinian sendte konsilets beslutninger til Johannes, men paven sendte dem bare tilbake uten det være seg godkjennelse eller fordømmelse.