Spencer pensjonerte seg fra sitt marineliv og ble valgt til parlamentsmedlem for Whig-partiet fra Worcestershire i 1831. Han hadde dette setet inntil 1832 og deretter representerte han Midhurst mellom 1832 og 1834, samt igjen mellom 1837 og 1841. Han ble senere equerry i husholdningen til hertuginnen av Kent (Victorias mor) 1840-1845. Sistnevnte år etterfulgte han sin eldre bror i jarledømmet og tok hans plass i House of Lords.