Přes nesouhlas rodičů od mládí sloužil v armádě a také jeho vojenská kariéra byla dotována z vysokých rodinných příjmů. Stejně jako v parlamentu, tak i u vojska vystupoval jako neoblíbený aristokrat těžící z bohatství své rodiny a dostával se do sporů s podřízenými, kteří byli veterány napoleonských válek, zatímco on sám žádné zkušenosti z války neměl. V roce 1830 dosáhl hodnosti podplukovníka, poté sloužil v Indii a v roce 1846 byl povýšen na plukovníka. V roce 1854 byl jmenován generálmajorem a velitelem lehké jízdy v krymské válce. V otázce vedení války měl spory s lordem Raglanem a také se svým švagrem lordem Lucanem, který byl jako vrchní velitel jezdectva jeho přímým nadřízeným. Vynikl statečností v nerozhodné bitvě u Balaklavy, krátce poté se ale ze zdravotních důvodů vrátil do Anglie (1855). V letech 1855–1860 byl generálním inspektorem jezdectva, proslul mimo jiné tím, že si veřejně přisvojoval zásluhy z krymské války, které mu nepříslušely. V roce 1855 obdržel Řád lázně, v roce 1856 získal francouzský Řád čestné legie. V roce 1861 dosáhl hodnosti generálporučíka, byl také navržen na udělení Podvazkového řádu, což ale odmítla královna Viktorie kvůli jeho excesům v mládí. Příležitostně vystupoval na půdě Horní sněmovny v diskuzích k problematice armády a nezřídka zdůrazňoval svou vlastní vojenskou kariéru. V roce 1861 doprovázel prince waleského na vojenské manévry do Pruska, odkud byl ale předčasně odeslán zpět opět kvůli svému chování vůči hostitelům a od té doby žil v soukromí na svých statcích.