Fabrizio debió su educación a su tío, el cardenal Tommaso Ruffo, entonces Decano del Colegio Cardenalicio.