Ole Torjussen Svanøe fra Hallingdal kjøpte Svanøy for 12000 riksdaler i 1804. Han var en venn av Hans Nielsen Hauge som hjalp ham med kjøpet. Ifølge NRKs fylkesleksikon hadde Hauge kjøpt Svanøy og solgte den videre til Ole Torjussen. På Svanøy står en minnestein over de to. Hauge bidro blant annet til oppstart av saltkokeri på øya. Sønnen Christopher Svanøe (1810–1887) overtok og drev gården. Christopher Svanøe begynte gruvedrift med utvinning av kis.