Else Hagen ble født på Eydehavn. Der hadde hun sine første barneår, med den fire år eldre Claes Gill (1910–1973) som lekekamerat. Hennes foreldre var ingeniør Sverre E. Hagen (1871–1947) og Sigrid Svendsen (1877–1963). På spørsmål om hun var arvelig belastet med kunstneriske anlegg, svarte Hagen at hun var fjernt i slekt med xylografen «Snipp-Møller», som vissnok også malte, – og at hennes far hadde visse kunstneriske anlegg.