Norman ble født 28. august 1831. Hans far som var bokhandler, døde tidlig i Ludvigs liv, og familien levde deretter i trange kår. Den unge guttens musikktalent var imidlertid åpenbart, og han fikk hjelp av flere til å utvikle dette. Hans komposisjoner som 11-åring ble utgitt i 1843, og han opptrådte som pianist fra fylte 14 år.