Spencer ble født i Wimbledon Park i London, sønnen til John Spencer, 1. jarl Spencer og hans kone Margaret Georgiana, datter av Stephen Poyntz. Han ble døpt der 16. oktober 1758. Hans faddere var Kong Georg II, jarlen av Cowper (hans bestemors andre mann) og hans grandtante Dowager Viscountess Bateman. Hans søster Georgiana, hertuginne Devonshire gift med hertugen av Devonshire som ble en kjent Whig vertinne. Han ble utdannet ved Harrow School fra 1770 til 1775 og han vant skolens (en bueskytingspremie) i 1771. Han deretter gikk på Trinity College, Cambridge fra 1776 til 1778 og ble uteksaminert Master of Arts. Han tiltrådte som jarl da faren døde i 1783.