Jørgen von Cappelen startet sin virksomhet som kjøpmann på Kongsberg og leverandør til Kongsberg Sølvverk. Hele godset Fossesholm med sagbruk og skogeiendommer kjøpte han i 1762, etter at deler av eiendommene hadde vært eid av hans far Gabriel og bror Diderich. Jørgen flyttet til gården i 1763 og sørget for store ombygninger og utvidelser slik at hoved- og uthusbygningene framsto omtrent slik de er idag.