Holsøe giftet seg 20. februar 1903 på Frederiksberg med Karen Margrethe Helsted (født 9. juli 1877 i Rocca di Papa, Italia, død 19. november 1969 i Hellerup), datter av maleren Axel Theophilus Helsted og Emilie Augusta Wolff.