Henry Karlsen var gift med Dagmar Elise (f. 1910, d. 1997). Han var sønn av fisker Hilmar Martin Karlsen (f. 1879, d. 1953) og Albertine Bergitte Andreassen (f. 1878, d. 1965).