Nelson gikk på Abbott High School hvor han spilte halfback på skolelaget i amerikansk fotball, og han spilte også basketball som forsvarsspiller og shortstop i baseball. Mens han gikk på skolen spilte han gitar og sang i bandet , et band som ble dannet av søsterens ektemann, Bud Fletcher. De spilte på barer og hadde en fast radiotime på den lokale radioen i Hillsboro, Texas. Han hadde også diverse strøjobber, og etter at han var ferdig på skolen i 1950 meldte han seg til United States Air Force for åtte eller ni måneder.