Niels Aall fikk etterhvert store økonomiske problemer, og i 1830 solgte han Søndre Brekke til sønnen, kammerjunker Hans Aall, og flyttet selv til Ulefoss hovedgård. Hans Aall bodde aldri selv på Søndre Brekke, og forpaktet bort gården til kjøpmann Christian Myhre for 200 spd. i året mellom 1832 og 1855.