Hun var datter av en engelskmann og en kvinne fra Wien, og vokste opp i et tysktalende hjem. Hun utdannet seg til og sykepleier, og ble gravid med Leonard Jolley, en gift pasient. Han fikk barn med to kvinner med få måneders mellomrom. Han giftet seg etterhvert med Elizabeth, og de flyttet til Perth, Australia i 1959. Jolleys stedatter Susan Swingler har skrevet boka om forholdet til sin far Leonard Jolley og stemoren.