Han ble født inn i en adelig familie fra La Genga, en liten by i provinsen Ancona. Han var sønn av grev Flavio della Genga og grevinne Maria Luisa Periberti di Fabriano, og var den sjette av deres ti barn. Hans faktiske fødested er usikkert, men de mest sannsynlige stedene er familiens slott i Genga, Ancona og Spoleto.