26 sierpnia 1978, w drugim dniu konklawe, obradujący kardynałowie wybrali go na papieża. Jego kandydatura była wynikiem niechęci Kolegium Kardynałów wobec kandydatów związanych z „kurialnym establishmentem”, ponieważ nie był on związany w żaden sposób z Kurią Rzymską, a swoją działalność duszpasterską prowadził poza Rzymem. Luciani powiedział Diego Lorenziemu i Prospero Grechowi, że odmówi papiestwa, jeśli zostanie wybrany i że zamierza głosować na kardynała Aloísio Lorscheidera, którego spotkał w Brazylii. Kardynał Jaime Sin z Filipin powiedział mu: „Będziesz nowym papieżem”. Kiedy został zapytany przez kardynała Jean-Marie Villota, czy akceptuje swój wybór, Luciani odpowiedział: „Niech Bóg wybaczy ci to, co zrobiłeś”, ale zaakceptował wybór. Po jego wyborze, kiedy kardynał Sin złożył mu hołd, nowy papież powiedział: „Byłeś prorokiem, ale moje panowanie będzie krótkie”.