Andersens foreldre var båtsmann Bjarne Johan Andersen (1899–1972) fra Hammerfest og Anne Matilde Kristensen (1898–1967) fra Rødøy. Familien flyttet tidlig til Trondheim, hvor Hjalmar Andersen vokste opp. Han giftet seg i 1945 med Gerd Aune (14. august 1921–8. april 2004).