Hennes far var ekspeditør Rudolf Bye, og hennes mor var Aagot Saastad. Foreldrene var ikke gift, og faren oppholdt seg i perioder i USA. Få år etter Lilians fødsel reiste også hennes biologiske mor til Amerika, og Lilian ble adoptert av sin pleiefamilie. Etternavnet Wøien tok hun etter sine adoptivforeldre: skomaker og snekkermester Herman Berntsen Wøien og Marie Lise Andersen.