Ellen Marsvin var datter av lensmannen på Landskrone slott, riksråd Jørgen Marsvin, og hans hustru Karen Gyldenstierne. Faren tilhørte landets økonomisk-politiske elite, og hun vokste opp i et miljø som var preget av rikdom, godskjøp og byggeri. I 1578 ble faren overflyttet fra Odensegårds len til Sølvesborg, noe som trolig skyldtes klager over hans harde og nådeløse embedsførsel.