Tiempo después, Whiteman decidió juntar al dúo con el pianista Harry Barris, formando así la agrupación vocal The Rhythm Boys, dentro de la cual Crosby rápidamente tomó el mando, al mismo tiempo formándose artísticamente gracias a la gran calidad de los músicos que trabajaban para la orquesta como Bix Beiderbecke, Hoagy Carmichael, Tommy y Jimmy Dorsey, Eddie Lang, Joe Venuti y Jack Teagarden.