Om sommeren plukket familien Nelson bomull sammen med den øvrige befolkningen i Abbott. Men Nelson likte ikke dette arbeidet, og foretrakk i stedet å tjene sine penger ved å synge på lokale dansetilstelninger, kafeer og barer fra han var 13 år og fortsatte med dette gjennom high school. Nelson var musikalsk påvirket og inspirert av Hank Williams, Bob Wills, Lefty Frizzell, Ray Price, Ernest Tubb, Hank Snow, Django Reinhardt, Frank Sinatra og Louis Armstrong .