Senere eiere var slekten Nagel og hoffagent Herman Dietrich Janson. Gården ble så solgt til Hans Nielsen Hauge. Hauge overlot gården til Ole Torjersen Svanøe, den mistet da sine setegårdsrettigheter. Ole Torjersens etterslekt, familien Svanøe, eier fremdeles Svanøy gård.