Han er sønn av Edward John Spencer, 8. jarl Spencer, gjennom hans første kone, den tidligere Frances Burke Roche (senere Frances Shand Kydd), datter av Maurice Burke Roche, 4. baron Fermoy. Den yngste av hans tre eldre søstre var Diana. Hans andre søsken er Sarah McCorquodale og Jane Fellowes.