Era el hijo de Frederick Spencer, y el sobrino del prominente político Lord Althorp.