Herregården hadde flere eiere i tidsrommet 1684-1823 inntil det ble overtatt av statskassen i 1823. De fleste store gårder av denne typen ble i slike tilfeller stykket opp, men det ble ikke gjort med Katholm.