I 1946 ble han frikjent av en østerriksk domstol for fortiden innen NSDAP, men den sovjetiske okkupasjonsmakten forbød ham i begynnelsen å dirigere grunnet hans tidligere partimedlemskap. Fortiden som en profilert dirigent i Det tredje riket kom til å klebe ved Karajan resten av livet. Blant annet ble han nektet innreise i Israel og fremstående jødiske fiolinister som Isaac Stern og Itzhak Perlman nektet å spille for ham.