Tocando ya el saxo alto, dirigió su orquesta durante más de tres decenios, y fue la primera banda blanca en tocar en el Apollo de Harlem (1934), a la vez que, en contra del racismo tan asentado de la época, incluyó con frecuencia músicos negros en su banda, no sólo como invitados (como fue el caso de sus contrincantes Benny Goodman y Artie Shaw), sino como miembros de las secciones instrumentales: Charlie Shavers, Trummy Young, Roy Eldridge, Oscar Pettiford, Lena Horne y muchos otros.