Han vokste opp i New Haven, Connecticut og startet sin løpebane som klarinettist og saksofonist i det lokale «High School Band». I begynnelsen av 1930-tallet begynte hans profesjonelle karriere. I 1936 gjorde han plateopptak med Billie Holiday og Bunny Berigan. I 1937 grunnla han et storband som ble et av de mest kjente swingorkesterne. Hans største hit på denne tiden var «Begin the Beguine», kjent ble også «Lady Be Good». Under den andre verdenskrig ledet han et Big Band i US Navy, med dette tourte han 1943 og 1944 rundt i Stillehavet for å underholde troppene på liknende måte som Glenn Miller i Europa.