Han var sønn av de tyske Otto Herman og Myrtle Herman (1881–1956) som emigrerte på 1890-tallet, og var som niåring kjent som «Boy Wonder of the Clarinet».