Deretter reiste han til hjembygden igjen og var gårdbruker på farsgården til 1804. Da solgte han gården i Ål og kjøpte godset Svanøy Hovedgård i Kinn prestegjeld i Sunnfjord. Bak kjøpet sto Hans Nielsen Hauge.