Po návratu do Anglie se stal členem Dolní sněmovny a poslancem byl celkem jedenáct let (1780–1785 a 1788–1794). V politice patřil k whigům, jako náměstek nejvyššího komořího (1784–1794) byl členem širšího kabinetu W. Pitta mladšího, od roku 1784 byl zároveň členem Tajné rady. V devadesátých letech 18. století se zúčastnil francouzských revolučních válek, v roce 1795 byl povýšen na generálmajora. Mezitím po otci zdědil titul hraběte z Pembroke a vstoupil do Sněmovny lordů (1794, do té doby vystupoval jako otcův dědic pod jménem "lord Herbert"). Po otci zároveň převzal post lorda–místodržitele v hrabství Wiltshire, kde měla rodina statky.