En 1864 su familia se trasladó a Valdosta (Georgia), donde la madre de Holliday murió de tuberculosis el 16 de septiembre de 1866, cuando él tenía 15 años de edad.