Per celebrare l'annessione tedesca dell'Austria compose l"Anschluss Sonate" e accettò di dirigere dei concerti nelle capitali europee occupate per festeggiare il trionfo militare, cosa che del resto fece anche Wilhelm Furtwängler (come testimoniano numerosi filmati). Dopo una esecuzione del "Tristano e Isotta" di Wagner alla quale assistettero Hermann Göring, Joseph Göbbels e soprattutto Adolf Hitler, un critico berlinese parlò di «Das Wunder Karajan», il «miracolo Karajan». I nazisti, in particolare Göbbels, iniziarono a usare Karajan come strumento per mettere in difficoltà Wilhelm Furtwängler, che non prese mai la tessera nazista. Ben presto, però, i rapporti tra Karajan e i nazisti si guastarono: Hitler non lo amava, preferendogli Furtwängler. Inoltre, ostili al cristianesimo, i nazisti proibirono che si suonasse musica sacra.