I 1941 kom Alan Lomax til området for å gjøre opptak av country blues fra området til Kongressbiblioteket. Waters fikk spille inn noen sanger, og enda flere sommeren 1942. I 1943 reiste han nordover til Chicago for å bli profesjonell musiker. Der ble han hjulpet inn i miljøet av Big Bill Broonzy, som lot ham åpne showene sine. I 1945 fikk Waters sin første elektriske gitar. De neste tre årene var Waters med i bandet på innspillinger med Sunnyland Slim og spilte inn en del sanger selv, uten at de ble utgitt, før han ble populær med sangene «I Can't Be Satisfied» og «I Feel Like Going Home» i 1948, og like etter, med sitt signaturnummer «Rollin' Stone».