Han nektet å overvære Napoleons bryllup og ble dermed i 1810 deportert av franskmennene til Reims og holdt fanget der, i Fontainebleau (1813) og deretter i Orange 1814. Fra 1810 var han en av «de svarte kardinaler», det vil si at de måtte kle seg i vanlige svarte presteklær ettersom Napoleon nektet ham å bære den røde kardinalsfargen.