I årene etter vielsen bygget han opp en stor godssamling med tyngdepunkt på Eiker, og med Foss som setegård. Etter at han døde i 1551, overtok Ingeborg værgemålet over deres umyndige barn, sønnen Hans og døtrene Lisbet og Margrethe. Som enke satt hun igjen med en anseelig mengde gods, som hun måtte kjempe for å beholde fra anklagende bønder som ønsket at ektemannens kjøp skulle gå tilbake. Hun ble dog sittende med godset, og døde som Gyldenløveslektens siste medlem på Foss i 1597, etter å overlevet sin mann med 46 år.