Moss ble født i den vesle byen Jewel i Warren County i Georgia som sønn av en småbruker. Fødselsåret har vært omdiskutert. Fra Eugene var fire til han var fjorten bodde familien i Augusta, Georgia. Som ganske ung begynte han å lære seg å spille munnspill ved å lytte til andre utøvere, og han spilte litt ved lokale tilstelninger.