Slektens to hovedgrener nedstammer fra to sønner av visebyskriver i Bergen, godseier Ludvig Lem til Frønningen (1656-1686) og Gjertrud de Fine, datter av biskop Arnoldus de Fine. Sønnen Søren Lem (1682-1732) var kapellan i Luster og far til ex.jur Hans Lem (1714-1781), godseier på Frønningen, samt til Stevelin Lem (1725-1806), handelsmann i Sogn. Fra disse to nedstammer Frønningen og Lærdal grenene. En annen sønn Jens Lem (1685-1731) var fogd i Nordhordland og Voss. To av hans sønnesønner, brødrene Jacob Buttaud Lem og Jens Lem flyttet ca 1772 til Frankrike hvor de ble konsuler for Danmark-Norge og hvor Jens' agnatiske etterkommere fortsatt er bosatt. En tredje sønn, sorenskriver i Nordhordland Arnoldus Lem (ca 1679-1732), tok morens navn og ble stamfar til den nålevende slekt de Fine i Norge.