Slektens første mann i Norge het Peder Lem (ca 1550–1610) og kom angivelig fra byen Gent i Belgia. Peder ble byskriver i Bergen i 1590 og fikk etterkommere i en rekke norske slekter; foruten samtlige medlemmer av slektene Lem, Knagenhjelm, Rumohr, Munthe-Kaas, Hjermann, etc., samt grener av slektene Riisbrich, de Crequi, Blixencrone, Brodtkorb, Heiberg, Lange, de Fine, Hille, Ravn, Scheel, Bornemann og en rekke andre, deriblant Ludvig Holberg.