Castiglione var av gammel lombardisk adelig byrd. Moren var i slekt med markgreven Ludovico II Gonzaga.