Sergels foreldre, Christoffer Sergell og Elisabet Swyrner, var begge kunstnere. De var opprinnelig fra Tyskland, men kom til Sverige i 1739. Faren og Johan Tobias Sergels to søstre Anna Brita og Maria Sofia Sergel, var alle knyttet til det svenske hoffet hvor de arbeidet med broderi. Sergels talent var tydelig alt i unge år og som gutt gikk han i lære hos mestrene Jean Eric Rehn og Jacques Adrien Masreliez. I 1757 startet han som elev hos den franske skulptøren Pierre Hubert L'Archevêque, kjent blant annet for rytterstatuen på Gustaf Adolfs torg sentralt i Stockholm.