Pocházel ze starobylého šlechtického rodu Stewartů, pravděpodobně vzdáleně příbuzného s královským rodem Stuartovců. V této linii rod v 17. století přesídlil ze Skotska do Irska. Narodil se jako syn 1. markýze z Londonderry z jeho druhého manželství Frances Pratt (1751–1833), dcerou lorda kancléře 1. hraběte z Camdenu. V šestnácti letech vstoupil do armády a zúčastnil se francouzských revolučních válek, v době povstání v Irsku (1798) byl zraněn a dosáhl hodnosti plukovníka. V roce 1800 byl poslancem irského parlamentu, po sloučení Británie s Irskem byl poslancem Dolní sněmovny (1801-1814, zastupoval hrabství Londonderry), v hodnosti plukovníka byl od roku 1803 pobočníkem krále Jiřího III. V letech 1807–1809 byl ve funkci státního podsekretáře zahraničí podřízeným svého bratra Roberta.