Long groeide op in Texas. Van geld verdiend met het poetsen van schoenen voor het "Rice Hotel" in Houston kocht hij zijn eerste banjo. Hij was in de jaren twintig lid van de Frank Davis Louisiana Jazz Band. Long verhuisde vervolgens naar Chicago, waar hij de banjo verwisselde voor de gitaar. Op de Wereldtentoonstelling van 1933 in Chicago was hij te zien als lid van de "Cuban Orchestra" met actrice Texas Guinan.