Spencer var parlamentsmedlem (Whig) for Warwick fra 1756 til 1761. Han var også High Steward av St. Albans i 1772 og borgermester av St. Albans i 1779. Den 3. april 1761 ble han gjort til baron Spencer av Althorp og vicomte Spencer av George III, og den 1. november 1765, ble han gjort til vicomte Althorp og jarl Spencer. Spencer døde i 1783 i Bath i en alder av 48. Han ble gravlagt i familiens gravsted i St. Mary's Church i Great Brington i Northamptonshire.