Hennes far, Gabriel Gabrielsen Holtsmark, var fysiker og hennes mor, Margrethe Weisse, var lærerinne. Karen Holtsmark var søster av filologen Anne Holtsmark (1896–1974), overingeniør Bent Holtsmark (1899-1977) og Marie Holtsmark (1902-1994).