Peter Edvard Rivertz og Hanna Oxaas overtok hovedbølet til Karnes Gods i 1894 av hennes far lensman Henrik Oxaas. På gården Karnes bygde Rivertz en ny hovedgård i 1904. Bygningen ble tegnet av arkitekt Kristen Rivertz, bror av Peter.