Pocházel ze starobylého šlechtického rodu Fane, který od roku 1624 užívá titul hrabat z Westmorlandu. Narodil se jako jediný syn Johna Fane, 10. hraběte z Westmorlandu (1759–1841) a Sarah Childové (1764–1793), spolu s rodiči byl vyloučen z dědictví obrovského majetku bankéřské rodiny Childů. Studoval v Harrow School a v Cambridge, od mládí zároveň sloužil v armádě a zúčastnil se napoleonských válek. V letech 1806–1807 v hodnosti kapitána působil na Sicílii a v Egyptě. Později bojoval pod velením maršála Wellingtona ve Španělsku a Portugalsku. Zúčastnil se bitvy u Talavery a v letech 1809–1811 byl Wellingtonovým pobočníkem, v roce 1811 se oženil s jeho neteří. Mezitím s podporou svého strýce 1. hraběte z Lonsdale vstoupil do Dolní sněmovny. Poslancem byl v letech 1806–1814, a i když spolu s otcem patřil k toryům, hlasováním podpořil některé návrhy strany whigů. V roce 1814 dosáhl hodnosti plukovníka a v letech 1814–1825 byl pobočníkem prince waleského, pozdějšího krále Jiřího IV.