Rudel era studente all'Accademia di Musica a Vienna, ma lasciò l'Austria nel 1938, dopo che il Paese fu annesso dalla Germania. Emigrò negli Stati Uniti per studiare al Mannes College of Music di New York. Dopo aver completato i suoi studi di musica negli Stati Uniti, entrò alla New York City Opera, dove intraprese una carriera lunga 35 anni, facendo il suo esordio come direttore nel 1944 e diventandone direttore principale e direttore generale fino al 1979. Nel Venetian Theater della Spanish Courtyard di Katonah (Bedford (New York)) dirige le prime rappresentazioni nel 1966 di "Curlew River" di Benjamin Britten e nel 1967 di "The Burning Fiery Furnace" di Britten.