Della Valle tilhørte en adelig slekt, hvorfra også kom to paver. Han delte sin ungdomstid mellom studier og krigstjeneste. Han deltok i strider mot maurerne i Nord-Afrika, men ble også medlem av det romerske akademi .