I trettenårsalderen opptrådte han sammen med Joseph-Barnabé Saint-Sevin i en duo av Jean-Marie Leclair under et -arrangement. Gaviniès var allerede fra ung alder en ettertraktet virtuos i Paris, men han nektet å gå i tjeneste ved de kongelige kapell. I unge år hadde han en affære med en adelig hoffdame, noe som førte til at han måtte tilbringe et års tid bak lås og slå. I fengselet skrev han en berømt .