I 1922 ble han gift med Henriette («Henny») Adelaide Størmer, datter av Carl Størmer. De var foreldre til Harald Løvenskiold, gift med Ingegjerd Andvord. Carl Otto Løvenskiold var farfar til Carl Otto Løvenskiold (f. 1953).