Hans far var Harry Valpy Toynbee (1861–1941), sekretær til Charity Organization Society, og hans hustru Sarah Edith Marshall (1859–1939). Hans søster Jocelyn Toynbee ble arkeolog og kunsthistoriker. Faren Harry var en bror av økonomen og økonomihistorikeren Arnold Toynbee.