Krupa begynte å spille trommer i ung alder og deltok på sin første plateinnspilling i Chicago i 1927. To år senere flyttet han til New York og var der elev hos Sanford A. Moeller, og av ham lærte han den såkalte Moellermetoden. I 1935 begynte han i Benny Goodman sitt storband. Han ble her kjent for sitt spektakulære sceneshow.