Castiglioni foi considerado o principal candidato no Conclave de 1823. Ele era conhecido por estar perto de Pio VII, que costumava se referir a Castiglioni como "Pio VIII". No entanto, ele não obteve os votos necessários, em parte devido à controvérsia em torno de uma aliança entre ele e outro secretário de Estado favorito, Ercole Consalvi. O cardeal Annibale della Genga foi eleito em vez disso, e ele recebeu o nome de Papa Leão XII.