Ellen Wessel var datter av forretningsmannen Johan Jeremiassen (1843–1889] og hans hustru Ellen Serine (1846–1937); moren var datter av skipsreder Christen Knudsen (1813–1888) i Porsgrunn., og søster til skipsreder Jørgen Christian Knudsen, som bodde på Frednes gård, og senere statsminister Gunnar Knudsen (1848–1928), som bodde på Borgestad gård.