Etterhvert fikk han her store finansielle problem med Borregaard, og sammen med en storbrann i hans eiendommer på Bordtomtene (1819) innstilte han betalinger i to perioder (1820, 1826) og solgte alt i en konkurs (1828). Han flyttet så til Fredrikstad.