I Fredrikstad var Huitfeldt i nærheten av Hafslund hovedgård, som i 1741 tilfalt ham ved hans svigerfars død (konferanseråd og amtmann Niels Werenskiold). 15. september 1719 hadde Huitfeldt nemlig i Marstrand giftet seg med Karen Werenskiold (født 3. juni 1700). Hun solgte Hafslund i 1754, og flyttet til Danmark, hvor hun kjøpte herregården Næstved Sortebrødrekloster. I 1755 ble hun dekorert med l'union parfaite, og var 1757-67 overhoffmesterinne hos dronning Juliane Marie. Hun døde på nevnte kloster 26. oktober 1778; hennes lik ble ført til Norge og hviler sammen med mannens i et kapell han hadde bygget ved Skjeberg kirke. For godsets fattige hadde de opprettet en stiftelse, bestående av vaisenhus, skole m.m.