Elisa var datter av konsul og forretningsmann Thomas Møller Wiborg og Hansine født Daae. Hun var oppkalt etter farmoren Hedvig Elisabeth Wiborg, som ble kalt Elisa. Hun vokste opp i en velstående Kragerø-familie.