Han var sønn av gårdbruker Bent Holtsmark på gården Tveiter i Asker og Anne Elisabeth Gabrielsen. I 1893 ble han gift med Margrete Weisse, datter av professor Johan Peter Weisse. De hadde fem barn, blant dem Johan Peter Holtsmark, Bent Holtsmark, Anne Holtsmark, Marie Holtsmark og Karen Holtsmark.