Spencer ble født i London som sønn av Charles Spencer, 6. jarl Spencer, og hans hustru, den tidligere Margaret Baring, andre datter av Edward Baring, 1. baron Revelstoke. Hans godfedre inkluderte kong Edvard VII.