Forholdet til det nasjonalsosialistiske regimet forverret seg ytterligere da han i 1942 giftet seg med Anna Maria «Anita» Sauest, født Gütermann, som hadde en jødisk bestefar og var dermed en såkalt «kvartjøde» og i den nasjonalsosialistiske klassifiseringen av mennesker. Myndighetene satte ham under etterforskning, mens Karajan på sin side prøvde å melde seg ut av partiet. Han påtok seg imidlertid nye dirigentoppdrag de siste årene i det tyskokkuperte Europa, men fryktet stadig for sitt liv. Sammen med sin kone flyktet han i begynnelsen av 1945 til Italia, først til Milano, deretter til Comosjøen.