Spencer var sønn av Frederick Spencer, 4. jarl Spencer, og hans første kone Georgiana, datter av William Poyntz. Den fremtredende whig-politikeren John Spencer, 3. jarl Spencer, var hans onkel og Charles Spencer, 6. jarl Spencer, hans halvbror. Han var utdannet ved Harrow og Trinity College, Cambridge, fra hvor han tok eksamen i 1857.