Spencer ble født i Admiralitetet i London, som femte sønn av George Spencer, 2. jarl Spencer og lady Lavinia, datter av Charles Bingham, 1. jarl av Lucan. Han var yngre bror av John Spencer, 3. jarl Spencer. Han ble døpt i St. Martin-in-the-Fields og utdannet ved Eton fra 1808 til 1811.