Op de middelbare school werd hij lid van de National FFA Organization. Ondertussen luisterde hij naar het radiostation van zijn neef Sheb Wooley en leerde ook van hem zijn eerste noten op de gitaar. Wooley kocht ook een fiddle voor hem. De eerste invloeden op zijn latere muziek kwamen van Hank Williams en Bob Wills. Uit die tijd dateren ook zijn eerste optredens in Oklahoma, maar ook in Texas. Miller ging voor het muzikantenleven. Op zeventienjarige leeftijd moest hij toch een gitaar stelen, maar gaf zichzelf daarna aan. Om aan arrestatie te ontkomen sloot hij zich aan bij het leger en kon prompt naar het slagveld van Korea (1952). De laatste jaren van zijn diensttijd versleet hij in Atlanta, Georgia, alwaar hij fiddle ging spelen in "The Circle of Wranglers", een muziekgroep vanuit het leger. Miller kwam terecht in South Carolina alwaar hem werd geadviseerd zich te vestigen in Nashville (Tennessee).