Giovanni Pietro Caraffa nedstammet fra den adelige slekten Caraffa i Napoli. Hans slektning, kardinal Oliviero Caraffa, som var en av de mer betydningsfulle personene i pavedømmet under renessansen, tok seg av den unge Giovanni Pietros oppdragelse og karrière.