Han ble holdt fengslet i festningen i Vincennes fra slutten av 1810 fordi han sendte den pavelige ordre til presteskapet i Paris om ikke å anerkjenne kardinal Jean-Siffrein Maury som erkebiskop der. Han ble satt fri i januar 1813, men arrestert på nytt i april fordi han ble ansett som ansvarlig (sammen med kardinal Pacca) for å ha overtalt pave Pius VII til å trekke seg fra sin overenskomst med Napoleon.