I 1924 sluttet han hos Oliver og reiste til New York for å spille trompet hos Fletcher Henderson. Allerede året etter var han tilbake i Chicago der han startet sine egne grupper og og fikk stor suksess med sine nyskapende arrangementer. Det var på denne tida han utviklet sin berømte scat-sangstil, angivelig fordi han glemte teksten på en sang.