Lofthus ble født utenfor ekteskap av bondedatteren Targjerd Kittelsdatter. Faren var Jens Jensen Falk, en sønn av en skipper. Far og sønn traff hverandre aldri, da Falk dro til Nederlandene og mønstret på et skip da han hadde gjort Kittelsdatter gravid. Kort tid senere døde han. Falks eldre bror tok så til seg Lofthus for noen år. Morens bror, Nils Kittelsen, fikk ingen egne barn, og tok til seg Lofthus og oppdro ham som sin egen sønn før han testamenterte gården til ham før han døde. Lofthus fikk skjøtet på gården i 1773.