Abandonado por sus músicos en 1937, fue dejando su carrera y, varado en Savannah, Georgia, vivió en una situación de casi miseria trabajando como conserje en la sala de recreación de Wimberly (526-528 West Broad Street).