Lawrence var født i Bristol hvor faren var vertshusholder. Familien flyttet til Devizes hvor Lawrence begynte å tegne. Etter at Thomas Lawrence den eldre gikk konkurs i 1779 flyttet familien til Bath og fra Lawrence var ti år gammel solgte han pastellportretter for å spe på familieøkonomien.