Woods var født og oppvokst i Manhattan i Kansas. Etter å ha blitt foreldreløs da han var 13 år gammel ble han oppdratt av sin søster. Han studerte ved Kansas State University med et stipend for å spille baseball, og ble den første farvede spilleren til å delta i serien Big Eight Conference, i 1951. Han ble tilbudt kontrakt for Kansas City Monarchs i negro-ligaene, men takket nei, graduerte fra universitetet i 1953 og begynte en karriere i hæren.