Magnus, hans kone Annie og deres fire døtre, bodde nær Capitol Square i Madison og foretok regelmessige utflukter på piknik til eiendommen og plantet en rekke trær der til 1922, da de lot bygge to hus i Meditterranenan Revival-stil designet av det Madison-baserte arkitektfirmaet Law and Law. Ett hus var for Magnus og Annie Swenson (# 2 Thorstrand Rd.) Den andre var for hans gifte datter, Mary Swenson North (# 1 Thorstrand Rd).