Ellen Horn er søster av skuespiller og dukkespiller Christine Stoesen (født 1953). Deres foreldre var Knut Ivar Stoesen (1913–86) og Lita Eveline Meinich (1917–99). Faren var sakfører, og moren drev en liten restaurant ute på Tjøme.