Han vokste opp i Jackson, Mississippi, og begynte å spille fiolin da han var fire år gammel, og senere begynte han også å spille klarinett og saksofon. Babbit var spesielt kjent for sin elektroniske musikk. Han begynte å studere ved University of Pennsylvania i 1931, men han ble snart forflyttet til New York University i stedet, der han studerte musikk sammen med kjente musikere som Philip James og Marion Bauer.