Elisabeth Klein ble født i Trenčín i Slovakia (som da var en del av Østerrike-Ungarn), men flyttet 3 år gammel med sin familie til Budapest hvor hun vokste opp og ble ungarsk statsborger. Hennes far, som var en velhavende forretningsmann, var en ivrig musikkmesen og samler av moderne kunst, og Klein ble tidlig tatt med på konserter og kunstutstillinger. Seks år gammel ble hun «prøvekanin» for vordende klaverpedagoger ved Franz Liszt-akademiet i Budapest, etter hvert også ordinær pianostudent, og i 1934 gikk hun opp til avgangseksamen ved akademiet med en konsert som vakte stor begeistring. Etter konserten kom Béla Bartók fram til henne med tilbud om privatundervisning. Bartók var i tillegg til komponist en fremragende pianist, men han var ikke tilknyttet akademiet. Årene 1934–1936 studerte hun derfor privat hos Béla Bartók og gikk blant annet gjennom hans komposisjoner for klaver.