W czasie 100 dni Napoleona kardynał stanął po stronie siostrzeńca i został mianowany parem Francji. Po bitwie pod Waterloo Fesch bojąc się prześladowań ze strony Burbonów osiadł w Rzymie, gdzie pozostał do końca życia, dzieląc wygnanie z siostrą Letycją i siostrzeńcem Lucjanem. Nie uległ naciskom rządu francuskiego i nigdy nie zrzekł się godności arcybiskupa Lyonu. Archidiecezja była w tych latach administrowana przez koadiutora.