Mannen til Olaug Pedersdatter, Ole Pedersen Kårtvedt, hadde slått seg opp på å levere varer til Kongsberg Sølvverk og hadde kjøpt storgården Berg av oberstløytnant Richelieu rundt 1720. Olaug Pedersdatter Berg fortsatte å kjøpe opp gårder etter mannens død og i 1743 kjøpte hun også Sem, som hun tidligere hadde forpaktet. I 1745 delt hun gården Sem i to gårder, hennes sønn og hennes svigersønn fikk kjøpt hver sin gård.