Holsøe giftet seg 15. mai 1862 på Frederiksberg med Emilie Charlotte Klentz (født 3. august 1833 i København, død 1. november 1905 i Lyngby), datter av bakermester Gotfred Christian Vilhelm Klentz og Ane Cathrine Drastrup.