Lystad ble født på Rodeløkka i Oslo. Hennes mor var vaskedame Thora Aamot (1900–1972) fra Stryn i Nordfjord, og hennes far var verksmester Erling Magnus Lystad (1905–1988). Thora Aamot skilte seg fra sin mann og flyttet hjem til Stryn i 1935. Der gikk Elsa sine to første år på skole og la til seg nordfjordsdialekt. De flyttet tilbake til Oslo i 1937.