Egli divenne IV Duca di Richmond il 29 dicembre 1806, dopo la morte di suo zio, Charles Lennox, III duca di Richmond. Nell'aprile del 1807 egli divenne Lord Luogotenente d'Irlanda, posto al quale rimase sino al 1813, con Arthur Wellesley (poi duca di Wellington) in qualità di suo segretario. Egli prese parte alle Guerre napoleoniche e nel 1815 ottenne il comando delle forze di riserva a Bruxelles col compito di proteggere la città nel caso in cui Napoleone avesse vinto la Battaglia di Waterloo. Il 15 giugno, la notte prima della Battaglia di Quatre Bras, sua moglie diede una festa danzante per tutti gli ufficiali. Qualcuno osservò che nella battaglia del giorno successivo, così come in quella di Waterloo il 18 giugno, il Duca non prese parte agli scontri.