Neupert giftet seg med Hilda Bergh og bosatte seg i Oscars gate 2 i Christiania. Hildas småkomposisjoner er i dag glemt, men var svært populære i samtiden. Hildas søster var mor til romansesangerinnen Cally Monrad som tok opp flere av mosterens sanger på sitt repertoar. Av Neuperts komposisjoner er spesielt de 24 og de 24 høyt verdsatt.