Anders Johan Lexell var sønn av gullsmedsmesteren og riksdagsmannen Jonas Lexel og hans første kone, Magdalena Catharina Björkegren, datter av assessoren Anders Björkegren og Margareta Catharina Wittfooth. Slekten Lexell har sitt nav fra Lexe gård utenfor Gävle og flyttet til Åbo med Anders Johan Lexells far.