Di Pietro var født i Roma. Farens familie var en av kjøpmennene på landet som ble rike og ble del av patrisiatet i Terni og Spoleto. Moren var fra Sermonetas hertugslekt, som var medlemmer av det romerske aristokrati og i samme slekt som pave Bonifatius VIII. Han var den andre av fire barn av Domenico di Pietro og Faustina Caetani. Han var nevø til Michele di Pietro (kreert 1801), som var kardinal og latinsk patriark av Jerusalem.