Ellen Hansen var datter av Henry Gottfred Hansen, som drev bilforretning, og hans hustru Edith Kristine. Hun hadde en ni år eldre søster, som var mor til siviløkonomen og forfatteren Ellen Kristin Dahl-Pedersen.