Faren sa opp stillingen som møller på grunn av misnøye med miljøet i mølla. Etter dette var han dagarbeider. Ved folketellingen i år 1900 står han oppført som "Sjauer ved Sagbrug". I 1907 ble han utsatt for en alvorlig arbeidsulykke som førte til at han døde i 1908. Moren måtte selge huset for å dekke legeregningen. Den nye eieren lot enken og de farløse bo på et kammers i det som tidligere var deres eget hus. Ingeborg var da 12 år gammel.