Hij schreef zich in bij de cavalerie in 1800 en ontving direct een aanstelling onder generaal MacDonald in Zwitserland. Van deze campagne publiceerde hij in 1802 een verslag. Door de invloed van kolonel Duroc wist Ségur een aanstelling bij de persoonlijke staf van Napoleon te krijgen. In deze functie diende hij in de meeste van de belangrijke militaire veldtochten tijdens het Eerste Keizerrijk, vaak op diplomatieke missies. In de campagne in Polen in 1807 werd hij door de Russen gevangengenomen, maar hij werd met het sluiten van de Vrede van Tilsit weer uitgewisseld. Door zijn moedige optreden tijdens de cavalerieaanval bij Somosierra op 30 november 1808 verdiende hij de rang van kolonel, hoewel zijn wonden hem dwongen terug te keren naar Frankrijk.