I 1808 var han blant de mange kardinaler som Napoleon deporterte fra Roma. Han ble først sendt til Milano, og til Paris året etter. Han klarte å utebli fra bryllupet mellom Napoléon Bonaparte og Maria-Louise av Østerrike uten å bli straffet for det. Han hevdet at han var indisponert (det er ukjent om insdisposisjonen var ekte eller innbilt) og ble unnskyldt. Han var dermed blant de "røde kardinaler".