De Vimeur ble født i Vendôme i Loir-et-Cher. Han var opprinnelig tiltenkt en karriere i den katolske kirke, og ble oppdratt ved den jesuittiske skolen i Blois. Men etter at hans eldre bror døde, gikk han inn i et kavaleriregiment og tjente i Böhmen, Bayern og ved Rhinen under den østerrikske arvefølgekrigen. I 1747 hadde han fått graden oberst.