Han var sønn av Piero Ridolfi og Contessina de' Medici (datter av Lorenzo de' Medici il magnifico), og var dermed pave Leo Xs nevø. Dette førte til at hans kirkelige karriere var rask. Han ble utnevnt til guvernør av Spoleto for perioden 1514-1516 og ble apostolisk protonotar som trettenåring.