I 1798 flyktet han fra de franske styrker sørover til Sicilia og 1799–1800 oppholdt han seg syk og fattig i Venezia. Han fikk da en årlig pensjon av sin slektning kong George III på 4 000 pund sterling. I 1800 vendte han tilbake til Roma og ble tre år senere, i 1803, valgt til kardinalkollegiets dekanus som den eldste i kardinalskollegiet og ble dermed også biskop av Ostia og Velletri.