Han var sønn av Otto Joachim Løvenskiold og Julie Caroline Helene Wedel Jarlsberg, og etterkommer etter tre eidsvollsmenn: oldefaren Peder Anker og bestefedrene Severin Løvenskiold og Herman Wedel Jarlsberg. Han er tippoldefar til Carl Otto Løvenskiold (d.y.). Han giftet seg i 1865 med sin kusine (1844–1923), datter av godseier Harald Wedel-Jarlsberg (1811–1897).