Samson Eitrem stammet fra en gammel bondeslekt og vokste opp i Kragerø. Hans bror var filologen Hans Eitrem (1871–1937).