Trass i frifinnelsen forviste Ludvig XVI fra hoffet, sendte ham bort til abbediet La Chaise-Dieu i Auvergne og fratok ham verdigheten som Frankrikes storalymosinar og dessuten hans . Dette etterlot det klare inntrykk at kardinalen ble dømt av kongen etter a,t og til tross for at, Parlamentet hadde frifunnet ham. Da hans helsetilstand begynte å svekkes fikk han tillatelse til å flytte over til klosteret Marmoutier i Tourrainen. Senere fikk han vende tilbake til sitt bispedømme.