J.P.E. Hartmann selv var gift to ganger. Familien i musikkens og kunstens tjeneste omfatter farfaren Johann Hartmann som innvandret fra Tyskland, onkelen Johan Ernst Hartmann, faren August Wilhelm Hartmann samt J.P.E. Hartmanns sønn Emil Hartmann. Det kan også legges til at datteren Sophie giftet seg med Niels W. Gade og en annen datter Clara med komponisten August Winding. Komponisten Niels Viggo Bentzon, hans sønn jazzpianisten Nikolaj Bentzon samt den belgiske komponisten Jean Pierre Waelbroeck utgjør de seneste skudd på stammen. Emil Hartmanns datter Bodil Hartmann gift de Neergaard holdt i årene rundt 1900 musikalske sammenkomster på herregården Fuglsang mellom Nykøbing Falster og Nysted på Lolland. Her deltok bl.a. Carl Nielsen. I periferien kan man nevne Bodils bror Oluf Hartmann som var maler og til hvis begravelse Carl Nielsen skrev , Niels Viggo Bentzons 2 fettere Jørgen og Johan samt N.W. Gades sønn av andre ekteskap, Axel Gade. De var alle tre involvert i musikken.