Han var sønn av Nicolas Desmarets, Marquis De Maillebois (1648–1721), generalkontrollør av finanser i regjeringstiden til Ludvig XIV av Frankrike, og nevø av Jean-Baptiste Colbert.