אדלר נולד בווינה למשפחה יהודית. עבודתו בתחום המוזיקה הביאה אותו לתפקיד עוזר לארטורו טוסקניני בפסטיבל זלצבורג בשנת 1936 וכן לעבודה באיטליה. עם השתלטות הנאציזם על אוסטריה בעקבות האנשלוס בשנת 1938 נאלץ, כיהודי, לעזוב את מולדתו ולהגר לארצות הברית, שם התקבל לעבודה באופרה הלירית של שיקגו כעוזר למנצח המקהלה. בתפקידו זה נשאר חמש שנים.