Varlet var sønn av skuespillere i Paris. Hans far var Achille Varlet, kjent som ; hans onkel Charles Varlet (scenenavn: ) var en av de mest kjente skuespillere i Molières teatertrupp. Lite vites om hans mor utenom at hun var datter av en hattemaker i Paris, var meget yngre enn sine ektemann, og at også hun hadde vært involvert med teater. Varlets foreldre hadde syv barn, hvorav tre overlevde inn i voksenalder, nemlig Dominique og hans yngre søsken Jean-Achille (1681-1720) og Marie-Anne.