Han var av sønn av hyttemester ved Røros kobberverk cand. min. Hans Elias Peter Andreas Holmsen (1829–1915) og Hilda Stengel (1845–1937). Andreas Holmsen giftet seg i 1895 med botanikeren Thekla Resvoll (1871-1948). Han var bror til Gunnar Holmsen (1880-1976) som var gift med Theklas søster, Hanna Resvoll-Holmsen. Andreas var ikke far til historikeren Andreas Holmsen, for det var overlærer Andreas Holmsen (1857–1926).