Adler nacque in una famiglia di origine ebraica. Dopo gli studi musicali divenne assistente di Arturo Toscanini al Festival di Salisburgo nel 1936 dirigendo anche in Italia. A seguito dell'occupazione nazista dell'Austria nel 1938, fu costretto ad emigrare per evitare di finire nei campi di concentramento. Andò negli Stati Uniti ed approdò alla Lyric Opera of Chicago dove assunse l'incarico di assistente direttore del coro, incarico che mantenne per cinque anni.