I 1800 ble han biskop av Montalto. Da franskmenne okkuperte Italia nektet han å avlegge troskapsed til kongen av Italia [dvs. til Napoleon), og ble dermed arrestert sommeren 1808. Franskmennene bragte ham først til Macerata, deretter til Pavia, Mantova, Torino og så til Milano på nytt, og deretter til Frankrike. Etter Napoleons fall vendte han den 16. juni tilbake til sitt bispedønmme Montalto. Etter dette hadde Castiglioni flere høye stillinger.