Wolfe era hijo de Helen Perkins Hughes Wolfe, paisajista de jardines, y Thomas Kennerly Wolfe Sr., un agrónomo.