Elise Svendsen var datter av musikeren Gulbrand Svendsen (1817-1900) og frøken Maren Hansdatter. Hun var halvsøster av komponisten Johan Svendsen (1840-1911). Hun ble 10. oktober 1896 gift i London med John Waegner.