Han ble født i Pistoia i Italia. Foreldrene var Giacomo og Caterina Rospigliosi, og han tilhørte en gammel lombardisk slekt. To av hans nevøer, Giacomo Rospigliosi og Felice Rospigliosi ble kardinaler, og de senere kardinalene Bandino Panciatici og Antonio Banchiere var av samme slekt.