Herman ble født på Holden Jernværk ved Ulefoss som sønn av Eggert Løvenskiold og Frederikke Løvenskiold. Faren, som var direktør, flyttet i 1829 med familien til Danmark. Allerede i svært ung alder viste han stor musikalsk begavelse og i stedet for en militær karriere som faren ønsket så utdannet han seg innen musikk og han ble undervist av komponisten Peter Casper Krossing.