Smith cumplió una prolongada etapa como líder de la sección de saxofones de la banda de Lunceford y permaneció en la formación hasta 1942 (periodo en el que tuvo problemas con el alcohol), cuando la abandonó, ya seguro de sus habilidades individuales, sólo superado por Johnny Hodges.