Etter Sergius' plutselige død 27. januar 847 ble Leo i et eksepsjonelt raskt pavevalg utpekt til hans etterfølger allerede samme dag. Seks uker senere ble han innsatt i embetet uten at man ventet på keiserlig godkjenning, noe som var påkrevet i den romerske konstitusjonen av 824. Forklaringen på dette var at man etter det sarascenske angrepet kort tid før ikke turde å vente. Romerne måtte dog love at de senere skulle følge prosedyrene som var nedfelt.