Han var sønn av Severin Løvenskiold og komtesse Sophie Hedevig Knuth. I august 1856 giftet han seg med sin brordatter Anna Sophie Hedvig Løvenskiold (1838–1903), datter av Adam Christopher Løvenskiold og Catharina Kirsten baronesse Wedel-Jarlsberg. De fikk flere barn sammen.