Den 11. juni 1854 feiret paret gullbryllup med stor fest på Ulefos. Den 23. oktober samme år døde Niels Aall 85 år gammel, hvoretter statsrådinnen flyttet ned til Lille Ulefos sammen med tre av sine ugifte søstre, fosterdatteren Hulda, stedatteren Hanna Hedevig og 7 tjenere. Da sønnen Hans døde i 1863, flyttet hun igjen opp på Hovedgården til sin svigerdatter.