Elisa Ulvig var datter av kirkesanger og lærer Ole Sørensen Ulvig og Dorothea Sofie Krohn Wiese (av slekten Wiese). Hun forble ugift.