Etter Alberts død, innledet konen Anne stridigheter med sin svigerinne Elline Gøye om Clausholm. Anne overlevet sin mann med 31 år, og sammen etterlot de 4 barn.