Før 1920 brakte spillinga han til andre stater langs Mississippi. I 1925 ble han oppdaga av en talentspeider for plateselskapet Paramount Records, og de første opptaka ble gjort i Chicago ved årsskiftet 1925/26. Her spilte han inn to gospelsanger, "I Want to Be Like Jesus in My Heart" og "All I Want Is That Pure Religion". Plata ble utgitt under pseudonymet Deacon L.J. Bates. Seinere samme år begynte Jefferson å utgi blues under eget navn, men han gjorde også seinere i karrieren innspillinger under pseudonymene Deacon L.J. Bates og Elder J.C. Brown. De fleste av hans ca. 100 innspillinger ble gjort for selskapet Paramount. Platene oppnådde nesten umiddelbart stor spredning; overraskende nok, ettersom Jefferson hadde en typisk ikke-kommersiell stil med sin høye, klagende røst og sitt komplekse gitarspill.