Else Elisabeth Koren var datter av lærer og stortingspolitiker Ahlert Hysing (1793–1879). og Caroline Mathilde Koren (1801–1840). Foreldrene hennes var søskenbarn, og Elisabeth vokste opp i en intellektuell familie. Elisabeth Korens mormor var den dansk-norske forfatteren Christiane Koren (1764–1815), kjent som «Mor Koren».