Hermani startet med musikk som barn, da han tok fiolintimer. Som 17-åring debuterte han ved Sagene Teater og etablerte seg etter hvert som komponist av lette og lystige melodier og tekster. I 1935 fikk han sitt gjennombrudd med låten «Den gamle syrin», en sang som ble en av de mest kjent låtene i 1930-årene. Tre år senere gjorde han suksess med «En liten blåveis». Sangen ble oversatt til ni språk, og den gjorde suksess i Sverige i 1948 – da under tittelen «Violer til mor». Hermanis mange tekster om blomster og flora ga ham kallenavnet «Norges blomsterkomponist».