Albemarle piął się również po szczeblach kariery wojskowej. 4 czerwca 1733 został pułkownikiem 3. plutonu Gwardii Konnej ("3rd troop of Horse Guards"). 2 lipca 1739 otrzymał rangę generała-brygadiera. 20 lutego 1742 był już generałem-majorem. Kolejny awans otrzymał 26 lutego 1744. Został wtedy generałem-porucznikiem. W latach 1744-1754 był pułkownikiem Coldstream Guards. Brał udział w bitwach pod Dettingen (27 czerwca 1743), Fontenoy (11 maja 1747) i Culloden (16 kwietnia 1746). Po tej ostatniej bitwie został mianowany Głównodowodzącym w Szkocji.