Pocházel z nemanželského potomstva Karla II. Byl synem generála lorda George Lennoxe (1737–1805), po matce Louise Kerr (1739–1803) byl vnukem skotského šlechtice a generála, 4. markýze z Lothianu. Od mládí sloužil v armádě a díky svému původu rychle postupoval v hodnostech, již v roce 1793 byl plukovníkem a zúčastnil se válek proti revoluční Francii. V letech 1784–1795 byl tajemníkem generálního polního zbrojmistra (tuto funkci tehdy zastával jeho strýc 3. vévoda z Richmondu), v letech 1790–1806 byl také poslancem Dolní sněmovny za stranu toryů (v parlamentu zastupoval hrabství Sussex, kde měl statky). Kvůli špatné disciplíně, účasti v několika soubojích (mimo jiné podstoupil duel s královým mladším synem, vévodou z Yorku) a konflikty s nadřízenými byl z armády v roce 1795 propuštěn. V roce 1798 nicméně získal hodnost generálmajora s funkcí královského pobočníka. V letech 1802–1803 byl starostou v Chichesteru (poblíž města se nacházelo hlavní rodové sídlo "Goodwood House").