Under napoleonskrigene ble han i 1806 utvist av franskmennene og holdt fanget i Saint-Quentin 1810–1813. Fra 1810 var han en av «de svarte kardinaler», dvs måtte kle seg i vanlige svarte presteklær fordi Napoleon nektet ham å bære den røde kardinalsfargen. Han kom ikke tilbake til Napoli før i juni 1815.