Delvis på grunn av hard konkurranse på privatskolemarkedet, måtte de avslutte virksomheten på Lillehammer i 1846. Så prøvde de å etablere seg i Åsgårdstrand, men flyttet etter et års tid til Modum Blaafarveverk for å drive skole for barna til verkets funksjonærer. Akkurat da, i 1847–48, ble verket rammet av sviktende avsetning og måtte gjennomføre omfattende innskrenkninger. Skolen ble lagt ned, og i løpet av 1848 flyttet familien til Drammen.