Konitz var sønn av jødiske av russisk og østerriksk bakgrunn. I 1938, da han var elleve år gammel, kjøpte han sin første klarinett og gikk inn i en selvstudiemetode. Året etter gikk han over tenorsaksofon, så var han, i tenårene altsaksofonist sammen med Teddy Powell og Jerry Wald, før han studerte i to år på Roosevelt College.