Al ser partidario del exilio de Napoleón en la isla de Elba en 1814, tiene que volver a exiliarse a los Estados Unidos durante el Imperio de los Cien Días, por el regreso de Napoleón.