I 1855 flyttet familien til Damstuen i Åsbygda, (i den gang Romedal kommune), hvor den gamle Nilsen tok en dårlig betalt jobb som damarbeider. Fem barn til ble født, og familien hadde dårlig økonomi. Som åtteåring ble Furuseth sendt for å jobbe på en gård hos Jonas S. Schiøtz ved Østby, Romedal. Schiøtz sendte ham til en privat luthersk skole.