Johnson vokste opp i Lambert i Mississippi, hvor han blant annet spilte blues og country på gitar sammen med sin far. Da han var i tenårene skaffet han seg en elektrisk gitar, og i 1962 møtte han Frank Frost og Sam Carr på i Clarksdale og de ble enige om å starte bandet The Jelly Roll Kings. Disse tre turnerte sammen i over 15 år, og spilte inn plater på Phillips International og Jewel Records med Frost som bandleder.