Stuart-Wortley begann unter der Schirmherrschaft seines Onkels Charles Stuart eine militärische Karriere in der British Army und trat im November 1790 als Fähnrich in das "48th Regiment of Foot" ein. 1791 wurde er Leutnant der 7th Royal Fusiliers und diente von 1792 bis 1794 in Kanada, wo er 1794 zum Hauptmann befördert wurde. Von 1795 bis 1797 diente er in der Kapkolonie, wo er am 1. Dezember 1796 Oberstleutnant des "12th Regiment of Foot" wurde. 1797 wurde er von Gouverneur George Macartney mit Berichten nach England zurückgeschickt. Er wurde zur Niederschlagung des Aufstands von 1798 nach Irland versetzt und kehrte 1799 nach England zurück. Im Oktober beantragte er eine Versetzung in den Stab seines Onkels Charles Stuart, der ein Kommando in Ägypten übernehmen sollte, doch stattdessen sollte er in die Niederlande versetzt werden. Dies wurde durch die Konvention von Alkmaar im November 1799 und dem folgenden Waffenstillstand verhindert.