Wolfe var først i baseball og var allerede i studietiden begynt å spille halvprofesjonelt. I 1952 fikk han prøvetrene hos laget New York Giants, men det ble avbrutt etter bare tre dager, noe han tilskrev sin manglende evne til å kaste gode .