I 1820-årene kom faren i økonomisk uføre, og det ble etter hvert vanskelig å finansiere sønnens videre utdannelse i København. Ved årsskiftet 1823/24 flyttet han hjem til Tønsberg.