Han var sønn av dommeren John Speed og Lucy Gilmer Fry Speed. Begge foreldrene var fra betydelige slaveeierfamilier. Hans bror James Speed tjenestegjorde som USAs justisminister årene 1864–1866.