Ellen Nordstoga var niesen til bildehoggeren Dyre Vaa som var gift med morens søster Thora Bojer. Foreldrene var Randi Bojer og sogneprest Odd Godal, og hun var barnebarn av forfatteren Johan Bojer. Politikeren Ingvald Godal, legen Tore Godal og kulturarbeideren Jon Bojer Godal var hennes brødre. Biskop Tord Godal var hennes onkel.