Hildur Sommerfeldt var gift med den tyske ingeniøren og revisoren August Koch. De var foreldre til sanger, sangpedagog og kvinnesaksforkjemper Hildur Schirmer, som ble gift med arkitekten Adolf Schirmer. Deres sønn Oscar Koch, konsertmester i Bremen, ble gift med Betsy Gude, en datter av maleren Hans Gude. Hennes etternavn er også stavet Sommerfelt.