Han var bror til filologen Anne Holtsmark (1896–1974), siv. ing. Bent Holtsmark (1899-1977), Marie Kraugerud, født Holtsmark (1902–1994) og kunstneren Karen Holtsmark (1907–1998).