Elise Aubert var datter av sokneprest Nils Frederik Julius Aars (1807-1865) og hustru Sofie Elisabeth Stabel (1813–1886). Elise vokste opp på prestegårdene i Lier, Alta og Lom i Gudbrandsdalen. Det var her hun møtte sorenskriverassistenten Ludvig Maribo Benjamin Aubert (1838–1896). De ble gift 24. november 1864. Han ble senere både statsråd og professor i jus.