Paret slo seg ned på Fossum ved Skien, hvor de lot oppføre en ny hovedbygning. De fikk flere barn, deriblant den senere høyesterettsdommer, Otto Joachim. I januar 1819 nedkom Sophie Hedevig med sønnen Hermann – den senere eier av Fossum – og 14 dager senere døde hun.