Han var sønn av Ole Christian Olsen (1834–87) og Therese Evine Olsen (1843–1926). Faren var kjøpmann. Magnus giftet seg i 1912 med Gjertrud Kjær (1890–1976), datter av bibliotekar Albert Kjær.