Entrato nella cerchia di Napoleone, grazie anche al ritorno nell'attività pubblica del padre, divenuto Gran Maestro delle cerimonie, de Ségur, le cui qualità furono subito apprezzate dall'imperatore, si distinse in tutte le incessanti campagne militari che seguirono la ripresa delle ostilità in Europa; combatté alla battaglia di Austerlitz, prese parte nel 1806 all'occupazione del Regno di Napoli da parte dell'esercito francese del maresciallo Andrea Massena; dopo essere stato promosso maggiore, venne ferito e catturato durante la campagna di Polonia del 1807. Rilasciato dopo gli accordi di Tilsit, rientrò in azione in Spagna dove si distinse alla battaglia di Somosierra, dove fu nuovamente ferito, e raggiunse il grado di colonnello.