Under napoleonskrigene ble han deportert av franskmennene først til Napoli og deretter til Frankrike. Fra 1810 var han en av «de svarte kardinaler», dvs måtte kle seg i vanlige svarte presteklær fordi Napoleon nektet ham å bære den røde kardinalsfargen.