Han vokste opp i Ålesund. Faren var kjøpmann og døde da gutten var ni år gammel. Magnus Halvorsen arbeidet som butikklærling ved siden av skolegangen.