Han giftet seg i 1940 med Lucie Paus, datter av grosserer og fabrikkeier Nicolay Nissen Paus og Else Margrethe Paus, som tilhørte fjernt beslektede grener av samme slekt (deres siste felles forfar Povel Pedersson Paus døde i 1682); svigerfaren var en av grunnleggerne av industrikonsernet Paus & Paus, mens svigermoren var datter av stålgrosserer Ole Paus. Ask gods ble etter hvert overdratt til deres sønn Carl Axel Løvenskiold (1942–1991), og siden til sønnesønnen Fredrik Clarin Løvenskiold. En annen sønnesønn, Carl Axel Løvenskiold, overtok i 2009 Overud gård fra Thorvald Løvenskiold. Datteren Ingeborg Elise var gift med Sven Adolf Solberg, direktør i NEBB, som var sønnesønn til Peter Collett Solberg og dattersønn til Halfdan Wilhelmsen. Blant Ingeborg Elises døtre er Ingeborg Lucie Solberg, gift med Nils Astrup til Toresplassen, og Catharina Elise Solberg til Teien gård i Tønsberg.