Da faren Lars døde i 1804, overtok moren husmannsplassen og drev denne fram til 1807. Lars Larsen overtok da feste på husmannsplassen, under vilkår at han skulle gi mora og den døve søsteren Siri husvære og mat. Samme år tok imidlertid Lars hyre som tømmermann på briggen «Ole Smith Plough».