Le Prestre stammet fra burgundisk landadel. Hans oldefar Emery le Prestre hadde ervervet landsbyen Vauban (nå i Nièvre), hvoretter Le Prestre senere kunne kalle seg marki de Vauban. Le Prestre-herrene virket som notarer og virket i jordbruket og skogbruket.