Pocházel ze starobylého šlechtického rodu Finchů, byl pátým synem 3. hraběte z Aylesfordu a jeho manželky Charlotte Seymour (1730–1805), dcery 6. vévody ze Somersetu. Studoval ve Westminsteru a Cambridge, od mládí sloužil v armádě, ve válce proti USA bojoval v hodnosti poručíka. V letech 1789–1819 byl členem Dolní sněmovny, kam byl zvolen pod patronátem svého bratrance 4. vévody z Rutlandu. V politice patřil k toryům a v parlamentu zastupoval město Cambridge. Později se zúčastnil válek proti revoluční Francii, byl zraněn v Egyptě, kde velel jezdeckým oddílům jako brigádní generál. V roce 1801 dosáhl hodnosti generálmajora a téhož roku v závěru první Pittovy vlády krátce zastával funkci státního podsekretáře vnitra (od února do srpna 1801; členem Pittova kabinetu byl ve dvorské funkci velitele královské tělesné stráže také jeho starší bratr 4. hrabě z Aylesfordu). Za druhé Pittovy vlády se stal lordem komořím Jiřího III. (1804), v roce 1808 byl povýšen na generálporučíka a o rok později se zúčastnil invaze do Dánska. V roce 1819 dosáhl hodnosti generála.