ジェームズ・ステュアート＝ウォートリー (初代ウォーンクリフ男爵)
陸軍大佐ジェームズ・ステュアート(英語版)(Col.James Stuart、第3代ビュート伯爵の息子)とマーガレット・カニンガム(Margaret Cunynghame、サー・デイビッド・カニンガムの娘)との長男として生まれた。父方の祖母にビュート伯爵夫人メアリー、曾祖母に著述家メアリー・モンタギューがいる。父ジェームズは母方のウォートリーを姓に加えたのち、さらにマッケンジー姓も付け加えている。
彼も父と同じく陸軍に入り、1790年に第48歩兵連隊(英語版)付を拝命した。1791年に第7歩兵連隊(英語版)に転任したのち、1793年には第72ハイランダーズ連隊(英語版)付大尉の階級を購入している。1797年に中佐に進級したほか、半年後に第12歩兵連隊(英語版)付大佐に昇進した。同年中に近衛連隊グレナディアガーズに移ったが、1801年には陸軍を退いた。