Hans foreldre var hugenotter (protestanter): Jean Chardin, juveler på Place Dauphine i Paris og medeier i Det franske ostindiske kompani, og hans hustru Jenny Ghiselin.