Mancinis store lidenskap var Big Band, swing og jazz. På 1940-tallet hadde han kontakt med swing- og jazzmusikere, særlig Benny Goodman. Til ham sendte han noen av sine egne arrangementer. Goodman ansatte ham, og i 1946 ble Mancini med i det reorganiserte Glenn Miller Band (Miller var gått bort, og ny orkesterleder var Tex Beneke). Etter krigen utvidet Mancini sine komposisjons- og tonesatskunnskaper ytterligere med studier under komponistene Ernst Krenek og Mario Castelnuovo-Tedesco.