Elise Løvenskiold var datter av godseier Harald Wedel-Jarlsberg (1811–1897) og Elise Frederikke Butenschøn (1820–1868). I 1865 giftet hun seg med godseier Carl Otto Løvenskiold.