En 1942 se integró en el conjunto de Charlie Spivak, cuando la formación de Lunceford comenzó a experimentar grandes cambios tanto en lo personal como en su dirección musical, pero Smith fue llamado a filas al poco tiempo y permaneció en el ejército hasta 1944, año en que se unió a la banda de Harry James.