Fabrizio Spada tilhørte den italienske adelsfamilie Spada. Familiens oppstig til høye kirkelige embeder begynte med Fabrizio Spadas oldefar Paolo Spada, som ved ikke alltid uklanderlige forretningsgrep bygde seg opp en stor formue og benyttet denne til blant annet å fremme sine barns karrierer. Hans tredjefødte sønn Bernardino Spada var det første medlem av familien som ble kreert til kardinal. Også han gjorde bruk av sin innflytelse og sine økonomiske tilganger i den grad at hans nevø Orazio Spada kunne gifte seg inn i en høyadelig romersk familie. Fabrizio Spada var endre sønn av dette ekteskapet, mellom Orazio Spada og Maria Veralli. Hans grandonkel så til at han fikk en grundig utdannelse, og en som i ung alder siktet mot en kirkelig karriere.