Atzmons primærinstrument er altsaksofonen, men han spiller også andre saksofontyper, klarinett og fløyte. Musikalsk har han spesialisert seg på bebop og frijazz, fremfor alt gjennom bandet , som han startet på 1990-tallet og fortsatt spiller med. Han gjorde seg først for alvor bemerket som musiker gjennom sitt samarbeid med den israelske sangerinnen Ofra Haza tidlig på 1990-tallet, og han har siden samarbeidet med blant andre Shane MacGowan, Robbie Williams, Sinéad O'Connor, Robert Wyatt og Paul McCartney. Han spiller også med Ian Durys gamle backingband The Blockheads og deltok på den siste plata som ble gitt ut med Dury, .