Til tross for at Barras var venn til den unge Bonaparte ble han skjøvet ut på sidelinjen under konsulatet og keiserdømmet. Han ble tvunget i landflyktighet til Roma i 1813, men fikk lov til å vende tilbake under den bourbonske restaurasjonen.