Han var sønn av fabrikkarbeider, smed og rallar Karl Hjalmar Samuelsen (1886–1969) og Anna Hansen som var renholdsarbeider og fagforeningskvinne. Han giftet seg i 1938 med Elisabeth Olsen («Lisa») og de fikk fem barn.