Siendo principalmente músico de orquesta, pues la orquesta era su verdadera pasión, fue también un fino instrumentista, buen saxofonista alto discípulo de Johnny Hodges, si bien Herman se centró preferentemente en el clarinete, instrumento que no le gustaba especialmente y del que, como solista, se juzgaba mediocre aunque no fuese tal.