Narodil se ve vídeňské židovské rodině jako Erich J. Landauer. Studoval hru na klavír a violoncello a dirigování na Mozarteu v Salcburku a na Vídeňské univerzitě. V letech 1934–1937 byl asistentem dirigentů Bruno Waltera a Arturo Toscaniniho na Salcburském festivalu. V roce 1937 odjel do Spojených států amerických, kde působil jako asistent dirigenta v Metropolitní opeře. V březnu 1938 nacistické Německo provedlo Anschluss Rakouska. Díky pomoci poslance Lyndona B. Johnsona mohl zůstat ve Spojených státech a v roce 1942 získal americké občanství.