Después de la banda de Gray, Ellis se unió a la banda de Jimmy Dorsey donde tocó algunos de sus primeros solos grabados.