Holsøe var sønn av byfogdfullmektig, senere overrettssakfører Peter Carl Jessen Holsøe (død 1915) og Ragna Fiedler (død 1907). Han var nevø av arkitekten N.P.C. Holsøe, og fetter til kunstmaleren Carl Holsøe. Han vokste opp i rokokkohuset Stephen Hansens Palé i Helsingør, hvor onkelen hadde tegnet en rekke hus.