Han var sønn av Herman Leopoldus (1677–1750) og Inger Borse (1677–1714), og var dattersønn til Halvor Borse og oldebarn av Anne Gundersdatter. Morens familie la grunnlaget for den betydelige næringsvirksomhet Løvenskiold videreutviklet. Han kjøpte Borgestad gård, som også morfaren og oldemoren hadde eid, i 1731, og gården ble hans hovedsete frem til hans død. Faren, sammen med sin familie, ble adlet under navnet Løvenskiold i 1739. I 1728 ble Herman Leopoldus gift med Margrethe Deichman (1708–1759), datter av biskop Bartholomæus Deichman. Sammen fikk de 10 barn, hvorav seks nådde voksen alder. Han var bl.a. farfar til stattholder Severin Løvenskiold.