Wolfe var anemisk som barn, så hans far meldte ham tidlig inn i Dallas Athletic Club for å trene. Han drev med flere ulike sporter, og ble klubbmester i sin vektklasse i både boksing og bryting. Han utmerket seg i tumbling, noe som ble hans spesialitet. Han vant gull i allerede som 14-åring, i 1929. Dette var hans første konkurranse. Samme år vant han sølv i , og året etter vant han gull i samme mesterskap.