Immerstein ble født i Sokndal og vokste opp i en politisk engasjert familie. Han tilhørte en kommunistisk familie og var inspirert av sine eldre brødre, spesielt Nils, som var medlem av Norges Kommunistiske Parti (NKP). Immerstein gikk til sjøs i ung alder, men ble senere involvert i politisk arbeid.