Svanøy ble i 1719 solgt til stiftamtskriver Severin Seehusen, som 1720 ble adlet med navnet de Svanenhielm. Han kom så i stor økonomisk nød, og godset ble 1724 inndratt av kronen, og mesteparten av leilendingsbrukene ble frasolgt.