Helmer Hanssen var sønn av gårdbruker og fisker Hans Andreas Jacobsen (1832–1914) og hans hustru Pauline Jørgine Olsdatter (1833–71). Fra elleveårsalderen begynte Helmer å følge med faren på fiske og arbeidet på gården.