Anton vokste opp hos morbroren Hans Olsen Iversveen, f.1865 og hans kone Karen Marthea Torgersdatter, f.1863. I og med at morsfamilien kom fra Iversveen og Anton vokste opp der, så gikk han lokalt under navnet Anton Iversveen i oppveksten. Han tok senere navnet Magnussen.