Hij was de zoon van Henri François de Ségur en diens vrouw Angélique de Froissy. Op zijn achttiende werd hij benoemd als bevelhebber over een infanterie eenheid, waarmee hij onder zijn vader diende in Italië en Bohemen. Hij raakte gewond tijdens de Slag bij Rocourt in oktober 1746, en verloor een arm bij de Slag bij Lafelt in 1747. In 1748 volgde hij zijn vader op als luitenant-generaal van Champagne en Brie. Ook ontving hij in 1753 het gouverneurschap van Foix. Tijdens de Zevenjarige Oorlog diende hij in de slagen bij Hastenbeck, Krefeld en Slag bij Minden. In 1760 werd hij gevangengenomen tijdens de Slag bij Kloster Kampen.