James Weaver lærte også fra andre musikere i det svært musikalske Newton og omegn. Nitten år gammel flytta han til Atlanta og påbegynte en musikalsk karriere. I 1925 kom de første innspillingene i stand, påskyndet av vennen Barbecue Bob. Her spilte han bl.a. en av sangene han hadde lært av mora, «No No Blues». Året etter reiste han til New York for nye innspillinger. I 1930 gjorde Columbia Records innspillinger med Weaver, Barbecue Bob og Buddy Moss som The Georgia Cotton Pickers. De følgende åra spilte han mest sammen med Blind Willie McTell og Buddy Moss. Han gjorde også soloinnspillinger for American Record Company.