Skrefsrud kom fra husmannsplassen Engesveen i Fåberg prestegjeld nær Lillehammer, og vokste opp i fattige kår. Han hadde åtte søsken, moren var en sterk, ivrig og svært religiøs kvinne og faren snekker og smed. Familien Skrefsrud kunne levd som familier flest, hadde det ikke vært for farens alkoholproblem. Familien til Lars hadde ikke råd til skole for Lars, men han fikk allikevel gå på omgangsskole. Omgangsskolelæreren mente at Lars kunne bli klokker. På denne tiden var klokker et yrke med høy status.