Ellen Schwiers kom fra en skuespillerfamilie. Hennes far var teaterskuespilleren Lutz Schwiers. På grunn av hans omflakkende skuespillerliv fikk hun en urolig oppvektst. Schwiers ble medlem av Bund deutscher Mädel da hun var tretten år. Etter den andre verdenskrig måtte familien flytte til Hessen, der Schwiers, med bestått vitnemål i 1945, skulle gå i lære til først å bli baker og senere gartner.