Stewart was born in Lisburn, Ulster, United Kingdom of Great Britain and Ireland, and abandoned his original aspirations of becoming a minister to go to New York City in the summer of 1823.
Stewart được sinh ra ở Lisburn, Ulster, Vương quốc Liên hiệp Anh và Ireland, và từ bỏ khát vọng ban đầu trở thành một bộ trưởng để đến thành phố New York vào mùa hè năm 1823.