Serge spilte først i et ensemble ledet av bass-saxofonisten Boyd Raeburn (1911–66) fra Sør-Dakota, men ble kjent da han i 1945 ble med i storbandet til Jimmy Dorsey (1904–57) fra Pennsylvania. Han var en av ytterst få innen bebop som spilte barytonsax. Mest kjent er han fra tiden hos klarinettisten Woody Herman (1913–87), der Serge var del av Herman sin "Second Herd" fra 1947 til 1949. Sammen med Stan Getz (1927–91), Zoot Sims (1925–85) og Herbie Steward (1926–2003), fikk Serge være med på originalinnspillingen av den ofte kopierte "Four brothers".