Etter dimittering fra militæret flyttet han og kameraten Billy Cox til Clarksville i Tennessee, der de startet bandet King Kasuals. Etter noen dårlig betalte spillejobber flyttet bandet etter hvert til Nashville. De spilte på klubber langs Jefferson Street, det svarte området i Nashville, og senter for rhythm and blues i området.