Familien solgte odelsgården Høyland og flyttet til Kristiansand omkring 1802. Faren Peder arbeidet da som «kjører». Både gårdssalget og det faktum at familien rundt 1816 står registrert som boende i et hus tilhørende byens fattigkasse og sto under fattigvesenets forsorg, tyder på at det har vært svært dårlige kår i familien. På denne tiden var det også hungersnød i Norge på grunn av Napoleonskrigene og britenes blokade av Kattegat/Skagerrak. Kornlageret i Kristiansand ble stormet og plyndret av sultne mennesker, og det var allment stor nød blant fattige på Sørlandet.