Caracciolo stammet fra en patrisierfamilie i kongedømmet Napoli. Han studerte i Milano under oppsyn av kardinal Ascanio Sforza.