Larsen var gift med Ebba, født Kalvik. Sammen hadde de to barn, Hans Henning (født 1940) og Viktor Henry (født 1941). I 1940 bodde familien i Klinkenberggata 8 i Stavanger, men flyttet i august 1942 til Granli, Hillevåg. Henry Viktor Larsen arbeidet som stein- og jordarbeider og var medlem av Stavanger stein-, jord- og cementarbeiderforening. Før krigen hadde han vært sjømann.