Lagerbergs foreldre var häradshövding Lars Jonsson Herrlund, adlet Lagerberg, og Anna Örnevinge. Han giftet seg i 1722 med friherrinnen Ottiliana Vellingk. Deres sønn var Adam Otto Lagerberg.