Hun var søster av Katti Anker Møller, svigerinne av Kai Møller og Johan Castberg, sønnedatter av politikeren Peter Martin Anker, og niese av Nils Anker, Christian August Anker og Dikka Møller. Forfatteren Nini Roll Anker var gift med Ellas fetter Peter Martin Anker fra 1892 til 1907, og med en annen av hennes fettere, Johan August Anker, fra 1910.