Los Wolfe vivieron en la calle Woodfin, n.º 92, donde Tom nació. Su padre fue un tallador de piedra y propietario de un negocio de lápidas. Su madre adquirió bienes raíces y, en 1904, abrió en San Luis (Misuri), para la Exposición Universal, un alojamiento dedicado especialmente a albergar a visitantes provenientes de Asheville. Mientras la familia estuvo en San Luis, uno de los hermanos de Wolfe, Grover, de doce años, murió de fiebre tifoidea.