Han var sønn av sogneprest Lauritz Christian Holsøe (1789-1862) og Vilhelmine Euphrosyne Margrethe, født Feddersen (1797-1871).