Martin giftet seg i april 1887 med Inger Jonsdatter Kveen (1865-1887) fra Østre Lunde (Kveen) i Innbygda. Hun døde i november samme år. Etter ti år som enkemann giftet han seg i 1897 med Olea O. Vestsjøberget (1876-1935) og ekteparet tok over driften av hennes hjemgård. Den nye hovedbygningen på Vestsjøberget ble tegnet av osloarkitekten Ludwig Zapffe, og ble senere ombygd av Odd Brochmann i 1930-årene. Ved siden av gårdsdriften hadde han store skogeiendommer - over 100.000 mål, og kjøpte gårder og skog når anledningen bød seg. Gården fikk vei først i 1908.