Kort etter ble han kjent med munnspilleren Sonny Terry og gitaristen og sangeren Brownie McGhee, og disse tre gikk i studio sammen i oktober 1941. USAs inntreden i andre verdenskrig med påfølgende rasjonering på skjellakk betydde en brå slutt på all innspilling og plateutgivelser for mange artister – blant dem Moss, Terry og McGhee. Bare de kommersielt mest interessante artistene ble utgitt, og på denne tida var interessen for akustisk blues fra sørstatene for nedadgående. Moss fortsatte å opptre mer sporadisk i Virginia og North Carolina og sammen med Curley Weaver i Atlanta, men kunne ikke lenger leve av å spille. Over en 20-årsperiode hadde han en lang rekke ulike jobber – som heisfører, lastebilsjåfør og tobakksarbeider.