Als divisiegeneraal (sinds 1853) nam hij in 1854 deel aan de Krimoorlog. Daar kreeg hij van zijn soldaten de bekende bijnaam "Plon-Plon", mogelijk vanwege zijn vermeende angst voor lood ("plomb"). Hij werd enkele maanden later teruggeroepen en benoemd tot directeur van de Wereldtentoonstelling van 1855. In 1858 werd hij minister van Algerije en de Koloniën. Vanwege zijn mislukte hervormingsbeleid trad hij echter al een klein jaar later weer af. Hij leidde in de Italiaanse Onafhankelijkheidsoorlogen het 5e legerkorps en bezette Toscane. In 1864 werd hij voorzitter van de Geheime Kamer en van de commissie voor de Wereldtentoonstelling van 1867. Bij een toespraak te Ajaccio in 1865 ventileerde hij nogmaals zijn liberale ideeën. Door het hieruit voortvloeiende conflict met Napoleon III diende hij voor beide functies zijn ontslag in. Na de verzoening belastte de keizer hem met diplomatieke missies, met name naar Italië, waar zijn schoonvader regeerde, en in 1868 naar Pruisen, dat hij moest polsen inzake de geplande annexatie van België. Hij verbleef gedurende de Frans-Duitse Oorlog (1870-1871) in Italië, keerde in oktober 1872 terug naar Frankrijk, maar werd al na enkele dagen door Adolphe Thiers uitgewezen. Hij werd in 1876 door Ajaccio in de Kamer van Afgevaardigden gekozen, waar hij ter linkerzijde zat. Bij de verkiezingen van 1877 verloor hij zijn zetel weer.