Weaver vokste opp på farmen til en slektning i nærheten av Porterdale i Georgia. Seinere flytta han med foreldrene til det nærliggende Almon. Mora Savannah spilte piano og gitar, og tok James i lære sammen med et par eldre gutter. Disse skulle seinere bli kjent som bluesmusikerne Barbecue Bob og Laughing Charlie Lincoln.