Han var sønn av ukjent far og en tiggerske. Som gutt var han analfabet, men livlig og vakker. Som tenåring kom han i Baldovino del Ciocchi del Montes tjeneste, og ble en nær venn av dennes bror, kardinal Giovanni Maria Ciocchi del Monte, ettersom han hadde ansvaret for hans apekatt. Monsignor Baldoino di Baldoino Barga fikk ansvaret å undervise den unge Innocenzo. Bargas oppgave var imidlertid håpløs; Innocenzo var bare i besittelse av grove sosiale ferdigheter og hans intellektuelle kapasitet var undermåls.