I 1936 fikk Furtwängler mulighet til å forlate Tyskland for å bli Arturo Toscaninis etterfølger ved New York Philharmonic, men misforståelser eller politiske intriger førte til at tilbudet ble trukket tilbake. I 1938 forlot han operaen i Berlin og ble dirigent for Wiener Philharmoniker. Han fortsatte turnevirksomheten under andre verdenskrig og var blant annet i Oslo i 1940. I 1939 ble han direktør for musikk i Wien.