I 1933 ble det også gjort opptak med Moss på munnspill, der han sammen med Moss, Weaver, McMullen, og sangeren Ruth Willis ble lansert under navnet «The Georgia Browns». Det var imidlertid som gitarist og sanger Moss gjorde seg mest bemerket som på denne tida. I 1934 ble de første soloopptakene gjort, og Moss var nå blitt et navn som solgte, og som ble spilt i radio overalt i Sørstatene. I 1935 var han på nytt i studio, denne gangen sammen med "The Singing Christian" Josh White. Alt lå til rette for en stor karriere, da han mot slutten av året ble arrestert, tiltalt og dømt til en lang fengselsstraff for drapet på kona. Både den gangen og seinere er det reist mye tvil om grunnlaget for dommen, men Moss måtte sone flere år, inntil han ble løslatt på prøve i 1941.