Smith permaneció en la banda de James hasta 1951, cuando Duke Ellington, afectado por la marcha de Johnny Hodges y de una pequeña pero importante sección de su banda, se lo llevó junto con otros destacados músicos.