He was the third child of Gilbert Stewart, a Scottish immigrant employed in the snuff-making industry, and Elizabeth Anthony Stewart, a member of a prominent land-owning family from Middletown, Rhode Island.
Отец, также Гилберт Стюарт, иммигрант из Шотландии, работал на мельнице по изготовлению нюхательного табака, а мать, Элизабет Энтони Стюарт, происходила из семьи землевладельцев из Род-Айленда.