Han ble født i Cingoli i Italia i en adelsfamilie fra Marche. Han var den tredje av grev Ottavio Castiglioni og grevinne Sanzia Ghislieris åtte barn. Han ble utdannet ved jesuittenes i Osimo og tok deretter doktorgrad 1785 i Bologna (borgerlig og kanonisk rett).