Chalmers vokste opp i Göteborg og var sønn til en skotsk kjøpmann, Williams Chalmers den eldre (død 4. mai 1759) og dennes svenske kone Inga, født Orre, (1711–1765). Faren hadde flyttet til Sverige i 1722. Om William Chalmers ungdomstid er ikke mye kjent, men begge foreldrene døde tidlig.