Lord Spencer var Whig Member of Parliament for Northampton fra 1780 til 1782 og Whig MP for Surrey fra 1782 til 1783. Han ble tatt i ed som medlem av Privy Council i 1794 og tjenestegjorde under William Pitt den yngre som Lord Privy Seal i 1794 og som First Lord of the Admiralty fra 1794 til 1801. Han var senere Home Secretary fra 1806 til 1807 under Lord Grenville i Ministry of All the Talents.