Su padre, Cabell Calloway II, era abogado, y su madre Martha Eulalia Reed era profesora y pianista de iglesia.