Joly var elev av François Girardon. Han studerte ved Académie royale de peinture et de sculpture hvor han vant Prix de Rome for skulpturen i 1680. Joly oppholdt seg i Roma i Villa Medici mellom 1680 og 1686. Han samarbeidet med Nicolas Coustou og Antoine Coysevox. Joly laget buer og kapitéler for vaser med blomster i Grand Trianon og forskjellige stein- og metallarbeider for hagene ved Versailles.