Faren Christen Elster var amtmann i Nordland da Lorentz ble født, og var fra 1816 amtmann i Nord-Trøndelag. Lorentz vokste dels opp på Inderøy og etter morens død i 1821 bodde han hos slekt i Melhus og Leksvik, deretter hos presten Jens Rynning i Snåsa, hvor prestesønnene Ole og Theodor Rynning drev privat artiumsundervisning. Han ble cand.theol. i 1844, og giftet seg i 1849 med Jens Rynnings datter Julie Catharina (1817–1872).